Синхронизация многих двоичных файлов

У меня около 100 000 файлов на офисном сервере (изображения, pdf и т.д.) Каждый день количество файлов увеличивается примерно на 100-500 элементов, и изменяется около 20-50 старых файлов.

Каков наилучший способ синхронизации веб-сервера с этими файлами? Может ли любая система, например Mercurial, GIT помочь? (На офисном сервере я буду совершать изменения, а веб-сервер периодически обновляет)?

Вторая проблема заключается в том, что на веб-сервере у меня есть пользовательский контент (двоичные файлы) (другие файлы). Каждый день пользователи загружают около 1000-2000 новых файлов. Старые файлы не меняются. И мне нужно сделать резервную копию этих файлов на локальном компьютере. Может ли такая система, как Merurial, GIT помочь в этой ситуации? (На веб-сервере я буду передавать эти файлы cron, а на локальном компьютере я буду делать обновления)

Сервер Office - это Windows Server 2008 R2 Веб-сервер - Debian 5 lenny

Ответы

Ответ 1

Самый простой и надежный механизм (по моему опыту) - rsync.

В Windows, однако, rsync over ssh сильно нарушается из-за проблем с тем, как Cygwin взаимодействует с именованными каналами. Rsync над своим собственным протоколом работает (пока вы не заботитесь о шифровании), но у меня было много проблем с получением rsync, чтобы оставаться в качестве службы Windows более нескольких дней за раз. DeltaCopy - это приложение для Windows, которое использует инструменты rsync за кулисами; это работает очень хорошо, хотя я не пробовал вариант ssh.

Ответ 2

DVCS не является хорошим решением в этом случае: он сохранит всю историю, которая вам не всегда нужна, и сделает любой клон массивной операцией.

репозиторий артефактов, например Nexus, гораздо более адаптирован, если вам нужно какое-то управление версиями с проверкой целостности, связанной с вашими двоичными файлами. В противном случае (без версий) достаточно простого rsync, например Marcelo .