Невозможно обработать DeadlineExceededError при использовании UrlFetch

У меня есть этот базовый класс утилиты (возможно) укороченные URL-адреса параллельно и возвращает словарь с конечными URL-адресами. Он использует функцию wait_any, описанную в этом сообщении .

class UrlFetcher(object):

  @classmethod
  def fetch_urls(cls,url_list):
    rpcs = []
    for url in url_list:
      rpc = urlfetch.create_rpc(deadline=5.0)
      urlfetch.make_fetch_call(rpc, url,method = urlfetch.HEAD)
      rpcs.append(rpc)

    result = {}
    while len(rpcs) > 0:
      rpc = apiproxy_stub_map.UserRPC.wait_any(rpcs)
      rpcs.remove(rpc)
      request_url = rpc.request.url()
      try:
        final_url = rpc.get_result().final_url
      except AttributeError:
        final_url = request_url
      except DeadlineExceededError:
        logging.error('Handling DeadlineExceededError for url: %s' %request_url)
        final_url  = None
      except (DownloadError,InvalidURLError):
        final_url  = None        
      except UnicodeDecodeError: #Funky url with very evil characters
        final_url = unicode(rpc.get_result().final_url,'utf-8')

      result[request_url] = final_url

    logging.info('Returning results: %s' %result)
    return result

Даже если я пытаюсь обработать DeadlineExceededError, журналы приложений показывают иное.

2011-04-20 17:06:17.755
UrlFetchWorker started
E 2011-04-20 17:06:22.769
The API call urlfetch.Fetch() took too long to respond and was cancelled.
Traceback (most recent call last):
  File "/base/python_runtime/python_lib/versions/1/google/appengine/ext/webapp/__init__.py", line 636, in __call__
    handler.post(*groups)
  File "/base/data/home/apps/tweethitapp/1.349863151373877476/tweethit/handlers/taskworker.py", line 80, in post
    result_dict = UrlFetcher.fetch_urls(fetch_targets)
  File "/base/data/home/apps/tweethitapp/1.349863151373877476/tweethit/utils/rpc.py", line 98, in fetch_urls
    final_url = rpc.get_result().final_url
  File "/base/python_runtime/python_lib/versions/1/google/appengine/api/apiproxy_stub_map.py", line 592, in get_result
    return self.__get_result_hook(self)
  File "/base/python_runtime/python_lib/versions/1/google/appengine/api/urlfetch.py", line 345, in _get_fetch_result
    rpc.check_success()
  File "/base/python_runtime/python_lib/versions/1/google/appengine/api/apiproxy_stub_map.py", line 558, in check_success
    self.__rpc.CheckSuccess()
  File "/base/python_runtime/python_lib/versions/1/google/appengine/api/apiproxy_rpc.py", line 133, in CheckSuccess
    raise self.exception
DeadlineExceededError: The API call urlfetch.Fetch() took too long to respond and was cancelled.
W 2011-04-20 17:06:22.858
Found 1 RPC request(s) without matching response (presumably due to timeouts or other errors)

Что мне здесь не хватает? Есть ли другой способ обработки DeadlineExceededError?

Или существуют разные типы DeadlineExceededErrors и я импортирую неправильный? Я использую: from google.appengine.runtime import DeadlineExceededError

Ответы

Ответ 1

В встроенных документах для google.appengine.runtime.DeadlineExceededError:

Исключение, возникающее при запросе достигает своего общего срока.

Не путать с runtime.apiproxy_errors.DeadlineExceededError. Это поднимается, когда индивидуальный API вызовы занимают слишком много времени.

Это хорошая демонстрация того, почему вы должны использовать квалифицированный импорт (from google.appengine import runtime, а затем ссылку runtime.DeadlineExceededError) тоже!

Ответ 2

Как вы уже догадались, и другие отметили, вы хотите другой DeadlineExceededError:

От https://developers.google.com/appengine/articles/deadlineexceedederrors от июня 2012 года:

В настоящее время существует несколько ошибок с именем DeadlineExceededError для среды выполнения Python: >

google.appengine.runtime.DeadlineExceededError: поднят, если общий тайм-аут запроса, обычно через 60 секунд или 10 минут для запросов очереди задач;

google.appengine.runtime.apiproxy_errors.DeadlineExceededError: поднят, если RPC превысил свой срок. Обычно это 5 секунд, но он настраивается для некоторых API, используя параметр "крайний срок";

google.appengine.api.urlfetch_errors.DeadlineExceededError: повышен, если время URLFetch отсутствует.

Поймать google.appengine.api.urlfetch_errors.DeadlineExceededError, похоже, делает трюк для меня. Также стоит отметить, что (по крайней мере, в dev app server 1.7.1), urlfetch_errors.DeadlineExceededError является подклассом DownloadError, что имеет смысл:

class DeadlineExceededError(DownloadError):
  """Raised when we could not fetch the URL because the deadline was exceeded.

  This can occur with either the client-supplied 'deadline' or the system
  default, if the client does not supply a 'deadline' parameter.
  """