Проблемы при загрузке больших файлов на Amazon S3

Но когда я пытаюсь загрузить файлы размером 11 ГБ, загрузка застряла в разных точках с сообщением об ошибке:

Похоже, что после появления IOException SDK не может повторить запрос (см. ниже).

Кто-нибудь сталкивается с этим? Какова наилучшая практика для решения этой проблемы? Любой код оценивается.

Ответы

Ответ 1

Попробуйте использовать API низкого уровня.

Это даст вам гораздо больший контроль, если что-то пойдет не так, поскольку они, скорее всего, будут работать с 11-гигабайтным файлом.

Запросы от S3 и от них иногда не срабатывают. При использовании API низкого уровня вы сможете повторить попытку загрузки, если она не удалась.

Рефакторинг примера в документе Amazon немного:

// Step 2: Upload parts.
long filePosition = 0;
for (int i = 1; filePosition < contentLength; i++) {
    // Last part can be less than 5 MB. Adjust part size.
    partSize = Math.min(partSize, (contentLength - filePosition));

    // Create request to upload a part.
    UploadPartRequest uploadRequest = new UploadPartRequest()
                .withBucketName(existingBucketName).withKey(keyName)
                .withUploadId(initResponse.getUploadId()).withPartNumber(i)
                .withFileOffset(filePosition)
                .withFile(file)
                .withPartSize(partSize);

    // repeat the upload until it succeeds.
    boolean anotherPass;  
        do {
              anotherPass = false;  // assume everythings ok
              try {
                  // Upload part and add response to our list.
                  partETags.add(s3Client.uploadPart(uploadRequest).getPartETag());
              } catch (Exception e) {
                    anotherPass = true; // repeat
              }
        } while (anotherPass);

     filePosition += partSize;
}

   // Step 3: complete.
   CompleteMultipartUploadRequest compRequest = new 
                     CompleteMultipartUploadRequest(
                                existingBucketName, 
                                keyName, 
                                initResponse.getUploadId(), 
                                partETags);

   s3Client.completeMultipartUpload(compRequest);

Примечание. Я не разработчик Java, поэтому я мог бы синтаксически перепутать вещи, но, надеюсь, это поможет вам двигаться в правильном направлении. Кроме того, вы захотите добавить "счетчик повторов", чтобы предотвратить бесконечный цикл, если загрузка неоднократно терпит неудачу.

Ответ 2

Я думаю, вам следует попробовать API Multipart, поддерживаемый AWS.

Проверьте это: http://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/s3/transfer/TransferManager.html

Ответ 3

В качестве побочной заметки могут быть сброшены 404 ошибки, если вы попытаетесь выполнить многостраничную загрузку с ключом, который уже находится под многостраничной загрузкой.

Ответ 4

Вы пытаетесь загрузить один файл размером 11 ГБ? Или размер всех ваших файлов составляет 11 ГБ? Поскольку ограничение максимального размера файла на S3 составляет 5 ГБ.

Ответ 5

Ответ Джеффа Апплфорда для меня работает. Однако я бы добавил && retryCount < MAX_RETRIES для оператора управления циклом while и приращения retryCount при каждом исключении, пойманном внутри while.

Aviad

Ответ 6

Я хотел добавить комментарий к ответу Джеффа Эпплфорда, но SO не позволил. В общем, его ответ на использование низкоуровневого API работает нормально, но даже если у нас теперь есть цикл do-while, то цикл для цикла спроектирован, есть встроенная логика повтора. В его фрагменте кода позиция файла увеличивается только тогда, когда есть успех, иначе вы снова загружаете ту же часть.