Я пытаюсь получить огромный список файлов из ведра AWS S3 с помощью этой команды:
aws s3 ls --human-readable --recursive my-directory
Этот каталог содержит десятки тысяч файлов, поэтому иногда после продолжительной паузы я получаю эту ошибку:
('The read operation timed out',)
Я пробовал параметр --page-size с разными значениями, но это не помогло. Как я могу исправить эту ошибку?
Не разумно читать огромные данные в распределенной системе. Это блок на сервере, а также на клиенте.
Если у вас есть образец того, как хранятся данные, попробуйте запустить их параллельно, а затем добавить в один файл.
например.
aws s3 ls s3://ведро/год/месяц --рекурсивный
Надеюсь, что это поможет.