В Linux у меня есть каталог с большим количеством файлов. Некоторые из них имеют символы, отличные от ASCII, но все они действительны UTF-8. У одной программы есть ошибка, которая предотвращает ее работу с именами, отличными от ASCII, и я должен выяснить, сколько из них затронуто. Я собирался сделать это с помощью find, а затем сделать grep для печати символов, отличных от ASCII, а затем сделать wc -l, чтобы найти номер. Это не должно быть grep; Я могу использовать любое стандартное Unix регулярное выражение, например Perl, sed, AWK и т.д.
Однако существует ли регулярное выражение для "любого символа, который не является символом ASCII"?
Это будет соответствовать одному символу, отличному от ASCII:
[^\x00-\x7F]
Это действительный PCRE (регулярное выражение, совместимое с Perl).
Вы также можете использовать сокращения POSIX:
[[:ascii:]] - соответствует одному ASCII char[^[:ascii:]] - соответствует одному не-ASCII char [^[:print:]], вероятно, будет достаточно для вас. **
Нет, [^\x20-\x7E] не является ASCII.
Это реальный ASCII:
[^\x00-\x7F]
В противном случае он будет обрезать символы новой строки и другие специальные символы, которые являются частью таблицы ASCII!
Вы также можете проверить эту страницу: Регулярные выражения Unicode, так как она содержит некоторые полезные классы символов Unicode, такие как:
\p{Control}: an ASCII 0x00..0x1F or Latin-1 0x80..0x9F control character. Вам не нужно регулярное выражение.
printf "%s\n" *[!\ -~]*
Это также покажет имена файлов с управляющими символами в их именах, но я считаю, что это особенность.
Если у вас нет подходящих файлов, глобус расширится до самого себя, если у вас не установлен nullglob. (Выражение не соответствует самому себе, поэтому технически этот вывод однозначен.)
[^\x00-\x7F] и [^[:ascii:]] пропустить некоторые контрольные байты, поэтому strings может быть лучшим вариантом. Например, cat test.torrent | perl -pe 's/[^[:ascii:]]+/\n/g' будет делать нечетные вещи на вашем терминале, где будет вести себя strings test.torrent.
Вы можете использовать это регулярное выражение:
[^\w \xC0-\xFF]
Задайте вопрос, параметры Многострочный.
Это оказалось очень гибким и расширяемым. $ field = ~ s/[^\x00-\x7F]//g; # Таким образом, все не относящиеся к ASCII или определенные элементы могут быть очищены. Очень приятно либо в выборе или предварительной обработке элементов, которые в конечном итоге станут хеш-ключами.
Подтвердить текстовое поле Принять Ascii Используйте только этот шаблон
[\x00-\x7F]+
Я использую [^\t\r\n\x20-\x7E]+ и это, кажется, работает нормально.