Как писать большие файлы в Blobstore с помощью экспериментального API?
У меня есть дилемма. Я загружаю файлы как в магазин scribd, так и в blobstore, используя tipfy в качестве рамки.
У меня есть webform с действием, не созданным blobstore.create_upload_url (я просто использую url_for ('myhandler')). Я сделал это, потому что, если я использую обработчик blobstore, ответ POST обрабатывается, и я не могу использовать обычный python-scribd api для загрузки файла в хранилище scribd.
Теперь у меня работает заставка scribd:
class UploadScribdHandler(RequestHandler, BlobstoreUploadMixin):
def post(self):
uploaded_file = self.request.files.get('upload_file')
fname = uploaded_file.filename.strip()
try:
self.post_to_scribd(uploaded_file, fname)
except Exception, e:
# ... get the exception message and do something with it
msg = e.message
# ...
# reset the stream to zero (beginning) so the file can be read again
uploaded_file.seek(0)
#removed try-except to see debug info in browser window
# Create the file
file_name = files.blobstore.create(_blobinfo_uploaded_filename=fname)
# Open the file and write to it
with files.open(file_name, 'a') as f:
f.write(uploaded_file.read())
# Finalize the file. Do this before attempting to read it.
files.finalize(file_name)
# Get the file blob key
blob_key = files.blobstore.get_blob_key(file_name)
return Response('done')
def post_to_scribd(self, uploaded_file, fname):
errmsg =''
uploaded_file = self.request.files.get('upload_file')
fname = uploaded_file.filename.strip()
fext = fname[fname.rfind('.')+1:].lower()
if (fext not in ALLOWED_EXTENSION):
raise Exception('This file type does not allowed to be uploaded\n')
if SCRIBD_ENABLED:
doc_title = self.request.form.get('title')
doc_description = self.request.form.get('description')
doc_tags = self.request.form.get('tags')
try:
document = scribd.api_user.upload(uploaded_file, fname, access='private')
#while document.get_conversion_status() != 'DONE':
# time.sleep(2)
if not doc_title:
document.title = fname[:fname.rfind('.')]
else:
document.title = doc_title
if not doc_description:
document.description = 'This document was uploaded at ' + str(datetime.datetime.now()) +'\n'
else:
document.description = doc_description
document.tags = doc_tags
document.save()
except scribd.ResponseError, err:
raise Exception('Scribd failed: error code:%d, error message: %s\n' % (err.errno, err.strerror))
except scribd.NotReadyError, err:
raise Exception('Scribd failed: error code:%d, error message: %s\n' % (err.errno, err.strerror))
except:
raise Exception('something wrong exception')
Как вы можете видеть, он также сохраняет файл в blobstore.. Но если я загружаю большой файл (т.е. 5 Мб), я получаю
RequestTooLargeError: The request to API call file.Append() was too large.
Request: docs.upload(access='private', doc_type='pdf', file=('PK\x03\x04\n\x00\x00\x00\x00\x00"\x01\x10=\x00\x00(...)', 'test.pdf'))
Как я могу это исправить?
Спасибо!
Ответы
Ответ 1
Вам нужно сделать несколько меньших вызовов в API файлов, например:
with files.open(file_name, 'a') as f:
data = uploaded_file.read(65536)
while data:
f.write(data)
data = uploaded_file.read(65536)
Обратите внимание, что ограничение размера полезной нагрузки на регулярные запросы приложений App Engine составляет 10 МБ; если вы хотите загружать более крупные файлы, вам нужно будет использовать обычный механизм загрузки блоб-магазина.
Ответ 2
наконец, я нашел решение.
Ник Джонсон ответил на ошибку атрибута атрибута, потому что uploaded_file рассматривается как строка.
строка не имела метода read().
В строке причины нет метода read(), я сплайсирована строка файла и записывается так же, как он писал.
class UploadRankingHandler(webapp.RequestHandler):
def post(self):
fish_image_file = self.request.get('file')
file_name = files.blobstore.create(mime_type='image/png', _blobinfo_uploaded_filename="testfilename.png")
file_str_list = splitCount(fish_image_file,65520)
with files.open(file_name, 'a') as f:
for line in file_str_list:
f.write(line)
вы можете узнать о splitCount(). здесь
http://www.bdhwan.com/entry/gaewritebigfile