Мне много раз приходится работать с каталогами, содержащими сотни тысяч файлов, выполнять сопоставление текста, замену и так далее. Если я иду стандартным путем, скажем
grep foo *
Я получаю слишком много сообщений об ошибках файлов, поэтому в итоге я делаю
for i in *; do grep foo $i; done
или
find ../path/ | xargs -I{} grep foo "{}"
Но они менее оптимальны (создайте новый процесс grep для каждого файла).
Это больше похоже на ограничение размера аргументов, которое могут получить программы-программы, так как * в цикле for работает нормально. Но, в любом случае, какой правильный способ справиться с этим?
PS: Не говорите мне делать grep -r вместо этого, я знаю об этом, я думаю о инструментах, которые не имеют рекурсивного варианта.
В новых версиях findutils find может выполнять работу xargs (включая поведение glomming, так что используется только столько обработок grep, сколько необходимо):
find ../path -exec grep foo '{}' +
Использование +, а не ;, поскольку последний аргумент вызывает это поведение.
Если существует риск имени файлов, содержащих пробелы, вы должны помнить, что флаг -print0 находится вместе с флагом -0 для xargs:
find . -print0 | xargs -0 grep -H foo
xargs не запускает новый процесс для каждого файла. Он объединяет аргументы. Посмотрите параметр -n на xargs - он контролирует количество аргументов, переданных каждому выполнению подкоманды.
Я не вижу, что
for i in *; do
grep foo $i
done
будет работать, так как я думал, что "слишком много файлов" было ограничением оболочки, поэтому оно также не сработало для цикла for.
Сказав это, я всегда позволяю xargs выполнять хрюканную работу по разбиению списка аргументов на управляемые биты таким образом:
find ../path/ | xargs grep foo
Он не запускает процесс для каждого файла, а для группы файлов.
Ну, у меня были те же проблемы, но мне кажется, что все, что я придумал, уже упоминалось. В основном было две проблемы. Выполнение globs дорого, делает ls на миллион каталоге файлов занимает навсегда (20 + минут на одном из моих серверов), а ls * в каталоге с миллионами файлов занимает навсегда и терпит неудачу с ошибкой "слишком длинный список аргументов".
find /some -type f -exec some command {} \;
похоже, помогает в обеих проблемах. Кроме того, если вам нужно выполнять более сложные операции над этими файлами, вы можете рассмотреть script свои материалы в несколько потоков. Ниже приведен пример руководства python для работы с CLI-скриптами. http://www.ibm.com/developerworks/aix/library/au-pythocli/?ca=dgr-lnxw06pythonunixtool&S_TACT=105AGX59&S_CMP=GR