Получать уведомление, когда пользователь загружается в ведро S3?

У нас есть приложение, которое хранит данные пользователя на S3. Часть нашего приложения, которое обрабатывает закачки, отделена от части, обрабатывающей данные. В некоторых случаях пользователь сможет загружать данные непосредственно на S3, не пропустив наше приложение вообще (это может произойти, если у них есть собственная учетная запись S3 и предоставить нам учетные данные).

Можно ли получать уведомление, когда изменяется содержимое ведра S3? Было бы здорово, если бы какое-то сообщение можно было отправить, в котором говорится, что "этот файл был добавлен/обновлен/удален: foo".

Короче, есть ли какая-то временная метка, где бы я мог опросить, что бы в последний раз обновлялось ведро?

Если я не могу сделать ни одну из этих вещей, тогда единственной альтернативой является обход всего ведра и поиск изменений. Это будет медленным и дорогостоящим.

Ответы

Ответ 1

Обновление 2014-11:

Как отмечает Алан Иллинг в комментариях, AWS теперь поддерживает уведомления от S3 до SNS, которые могут быть переадресованы автоматически в SQS: http://aws.amazon.com/blogs/aws/s3-event-notification/

S3 также может отправлять уведомления AWS Lambda для непосредственного запуска вашего собственного кода.

Оригинальный ответ, который предсказывал уведомления S3- > SNS:

Если Amazon поддерживает это, они будут использовать SNS для отправки уведомлений о добавлении объекта в ведро. Однако на данный момент единственным событием, поддерживаемым S3 и SNS, является уведомление, когда Amazon S3 обнаруживает, что он потерял все реплики объекта Reducancy Storage (RRS) и больше не может обслуживать запросы для этого объекта.

Здесь документация по событиям SNS, поддерживаемая S3:

http://docs.amazonwebservices.com/AmazonS3/latest/dev/NotificationHowTo.html

Основываясь на том, как написана документация, похоже, у Amazon есть идеи для добавления других событий уведомления (например, ваша идея узнать, когда добавлены новые ключи).

Учитывая, что Amazon не поддерживается напрямую, клиент S3, который загружает объект на S3, должен будет инициировать уведомление, или вам нужно будет сделать какой-то опрос.

Пользовательское уведомление о событиях для загрузки на S3 может быть выполнено с использованием SNS, если вам нравится получать обновления в реальном времени для обработки, или это можно сделать через SQS, если вы хотите, чтобы уведомления накапливались и обрабатывали их из очередь в вашем собственном темпе.

Если вы проводите опрос, вы можете уменьшить количество ключей, которые вам нужно запросить, загрузив клиент с префиксом, скажем, "необработанным/...", за которым следует уникальный ключ. Ваше программное обеспечение для опроса может запросить только ключи S3, начиная с этого префикса. Когда он готов к обработке, он может изменить ключ на "обработка/...", а затем на "обработанный/..." или что-то еще. Объекты в S3 в настоящее время переименовываются с помощью операций копирования и удаления, выполняемых S3.