AWS S3 Sync очень медленный при копировании в большие каталоги

При синхронизации данных с пустым каталогом в S3 с использованием AWS-CLI это почти мгновенно. Однако при синхронизации с большим каталогом (несколько миллионов папок) требуется очень много времени, прежде чем начать загрузку/синхронизацию файлов.

Есть ли альтернативный метод? Похоже, что он пытается учесть все файлы в каталоге S3 перед синхронизацией - мне это не нужно, и загрузка данных без предварительной проверки будет в порядке.

Ответы

Ответ 1

Команда sync должна будет перечислить все файлы в ведре, чтобы определить, существует ли локальный файл в ведре, и если он совпадает с локальным файлом. Чем больше документов у вас в ковше, тем дольше это займет.

Если вам не нужно это поведение sync используйте команду рекурсивного копирования, например:

aws s3 cp --recursive . s3://mybucket/

и это должно скопировать все локальные файлы в текущем каталоге в ведро в S3.