Так много вариантов и так мало времени, чтобы проверить их все... Интересно, есть ли у кого-то опыт работы с распределенными файловыми системами для потоковой передачи и хранения/кодирования видео.
У меня есть много огромных видеофайлов (от 50 до 250 ГБ), которые мне нужно хранить где-нибудь, сможете их кодировать в mp4 и передавать их с нескольких серверов Adobe FMS. Единственный способ справиться с этим - с распределенной файловой системой, но теперь вопрос заключается в том, какой из них:
Мои исследования до сих пор говорят мне:
До сих пор Ластер кажется победителем, но я хотел бы услышать реальный опыт для конкретного приложения, которое у меня есть.
Также Hadoop, Redhat GFS, Coda и Windows DFS звучат как опции, поэтому любые впечатления приветствуются. Если у кого-то есть контрольные показатели, поделитесь им.
После некоторого реального опыта это то, что я узнал:
Окончательный вывод:
К сожалению, вывод: "Никакой серебряной пули".
В настоящее время у нас есть медиа файлы в Gluster3.2 в реплицированном томе для хранения и транскодирования. Пока у вас не так много серверов, избегайте георепликации и томов, все работает нормально.
Когда мы собираемся передать медиафайлы, мы скопируем их на том громкости, который реплицируется на второй уровень громкости через DR: DB. Затем сервер wowza считывает медиафайлы из тонов макета.
И, наконец, мы используем MogileFS для обслуживания эскизов на наших серверах веб-приложений.
GlusterFS значительно улучшились до этой даты. Теперь они предоставляют "гранулированную блокировку" для больших файлов. См. Здесь: http://www.gluster.org/community/documentation/index.php/WhatsNew3.3 Также это довольно зависимые частоты кадров видео, которые вы тоже должны работать. Если вы не подойдете к ставкам 4K, Gluster может решить проблемы с хранением. Если есть огромный спрос на скорость, поэтому Infiniband может играть.
Проверьте файловую систему Hadoop (HDFS). Основное внимание уделяется очень крупным файлам и параллельным вычислениям задач (с картой/сокращением), он имеет высокую задержку, но очень высокую пропускную способность. В настоящее время он используется на таких крупных объектах, как Facebook и amazon.com
MogileFS отлично подходит для такого рода вещей. Клиентские библиотеки немного отличаются по качеству, но я был бы удивлен, если бы не были крупномасштабные производственные сайты, использующие практически любой язык для доступа к нему.
HTTP - хороший протокол для этого материала. У кого нет многофункционального и эффективного HTTP-клиента?
Из названных систем наиболее подходящим является MoglieFS.
Но, возможно, вы можете получить любую специальную систему. Скажем, у вас есть 4 сервера AdobeFMS:
{video0.exmple.com,video1.exmple.com,video2.exmple.com,video3.exmple.com}.
Вы можете распространять все свои видео среди этих 4 серверов, используя простую схему, например
/*
* pseudo code
*/
$server_id = get_server_id(filename);
...
...
int function get_server_id(filename)
{
return hash(filename) mod 4;
}
после кодирования видео, ваше приложение будет
$server_id = get_server_id(file_name)
copy file_name to /mnt/$server_id/
клиенты будут обращаться к видео, используя что-то вроде http://videoN.example.com/filename.mp4, где N вычисляется из имени файла с помощью get_server_id().
Luster/Gluster действительно не то, что вы должны искать. Luster FS более зрелый, но разработчики просят вас обрабатывать файлы на таких FS, как "кеш", т.е. Они могут быть потеряны в любое время.
Luster/Gluster предназначены для использования в HPC, чтобы обеспечить быстрый доступ к огромному объему данных без единого сервера хранения, являющегося производительностью бутылочной горловины. Еще один момент для этих систем - это жалоба POSIX. В среде HPC/Research вы обычно не успеваете переписывать свои приложения, потому что вы установили новый классный и быстрый FS.
Map-reduce не помогает в отношении записи/чтения 90/10! Постоянный размер файла - это хорошая вещь, а файлы небольшие. Таким образом, MogileFS звучит как хорошая альтернатива, так как ситуация с Luster/Gluster не подходит.