Я использую команду scp shell для копирования огромной папки файлов.
Но в какой-то момент мне пришлось убить бегущую команду (Ctrl + C или kill).
К моему пониманию scp скопировал файлы последовательно, поэтому должен быть только один частично скопированный файл.
Как можно возобновить повторную команду scp, чтобы не перезаписывать успешно скопированные файлы и правильно обрабатывать частично скопированные файлы?
P.S. Я знаю, что могу делать такие вещи в rsync, но scp быстрее для меня по какой-то причине, и я использую его вместо этого.
Вы должны использовать rsync над ssh
rsync -P -e ssh [email protected]:/remote/path /local/path
Ключевой параметр -P, который совпадает с --partial --progress
Также можно использовать другие параметры, такие как -a (для режима архива) и -z (для включения сжатия).
Руководство: https://download.samba.org/pub/rsync/rsync.html
Альтернатива rsync:
Используйте sftp с опцией -r (рекурсивно скопировать целые каталоги) и опцией -a команды sftp get, чтобы возобновить частичную передачу существующих файлов.
Предварительное условие: В вашей реализации sftp уже есть параметр get с -a.
Пример:
Скопируйте каталог /foo/bar с удаленного сервера в локальный текущий каталог. Каталог bar будет создан в вашем локальном
текущий каталог.
echo "get -a /foo/bar" | sftp -r server
Начиная с OpenSSH 6.3, вы можете использовать команду reget в sftp.
У него тот же синтаксис, что и у get, за исключением того, что он начинает передачу с конца существующего локального файла.
Другая возможность - попытаться спасти scp, который вы уже начали, когда он заглох.
ctrl + z в фоновом режиме и остановите его, затем ssh перейдите на принимающий сервер и войдите в систему, а затем выйдите. Теперь fg процесс scp и наблюдайте его возобновление с "остановленного"!
Когда rsync заглох, а после пары секунд, когда я начал нормально работать, я получил следующее решение для командной строки:
cat run_me.sh
#!/bin/bash
while [ 1 ]
do
rsync --partial --progress --rsh=ssh [email protected]:/path/file.tgz file.tgz &
TASK_PID=$!
sleep 60
kill $TASK_PID
sleep 2
done
Вы можете использовать -rsh и -P rsync. -P предназначен для частичной загрузки, а -rsh указывает на передачу через протокол ssh.
Полная команда будет выглядеть так: rsync -P -rsh [email protected]: /remote/path/local/path
Вчера я получил тот же самый вопрос, передав огромную свалку sql через scp, мне повезло с wget --continue the_url
Это сообщение в блоге объясняет это довольно хорошо http://www.cyberciti.biz/tips/wget-resume-broken-download.html