У меня довольно большой объем данных (~ 30G, разбитый на ~ 100 файлов). Я хотел бы переходить между S3 и EC2: когда я запускаю экземпляры EC2, я хотел бы скопировать данные с S3 на EC2, как можно быстрее, и когда я закончил обработку, я хотел бы скопировать результаты на S3.
Я ищу инструмент, который сделает быструю/параллельную копию данных взад и вперед. У меня есть несколько скриптов, взломанных, включая тот, который делает приличную работу, поэтому я не ищу указателей на базовые библиотеки; Я ищу что-то быстрое и надежное.
Думаю, вам лучше использовать хранилище Elastic Block Store для хранения ваших файлов вместо S3. EBS похож на "диск" на S3, который может быть установлен в ваш экземпляр EC2 без необходимости копировать данные каждый раз, тем самым позволяя вам сохранять ваши данные между экземплярами EC2 без необходимости писать или считывать с S3 каждый раз.
К сожалению, предложение Адама не будет работать, поскольку его понимание EBS неверно (хотя я бы хотел, чтобы он был прав и часто думал, что он должен работать таким образом)... поскольку EBS не имеет ничего общего с S3, но это будет только дает вам "внешний диск" для экземпляров EC2, которые являются отдельными, но подключаются к экземплярам. Вам все равно придется копировать между S3 и EC2, хотя между ними нет затрат на передачу данных.
Вы не указали операционную систему своего экземпляра, поэтому я не могу предоставить конкретную информацию. Популярным инструментом командной строки, который я использую, является http://s3tools.org/s3cmd... он основан на Python и поэтому, согласно информации на его веб-сайте, он должен работать как на Win, так и на Linux, хотя я все время использую его в Linux. Вы можете легко взломать быстрый script, который использует встроенную команду "sync", которая работает аналогично rsync, и запускать ее каждый раз, когда вы закончите обработку ваших данных. Вы также можете использовать команды recursive put и get для получения и размещения данных только при необходимости.
Существуют графические инструменты, такие как Cloudberry Pro, которые также имеют некоторые параметры командной строки для Windows, чтобы вы могли настраивать команды расписания. http://s3tools.org/s3cmd, вероятно, самый простой.
Установите s3cmd Пакет как
yum install s3cmd
или
sudo apt-get install s3cmd
в зависимости от вашей ОС
затем скопируйте данные с помощью этого
s3cmd get s3://tecadmin/file.txt
Также ls может перечислить файлы.
для более подробной информации см. this
В настоящее время в инструментах командной строки AWS есть команда синхронизации, которая должна делать трюк: http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
При запуске: aws s3 sync s3://mybucket/mylocalfolder
перед выключением: aws s3 sync/mylocalfolder s3://mybucket
Конечно, детали всегда интересны для разработки, например. как это может быть параллельно (и вы можете сделать его более параллельным и является тем, что любой более быстрый goven виртуальный характер всей установки)
Btw надеюсь, что вы все еще работаете над этим... или кто-то есть.;)
Для меня лучшая форма:
wget http://s3.amazonaws.com/my_bucket/my_folder/my_file.ext
из PuTTy