Использование grep для поиска шестнадцатеричных строк в файле

Ответ 1

Мы попробовали несколько вещей, прежде чем прийти к приемлемому решению:

xxd -u /usr/bin/xxd | grep 'DF'
00017b0: 4010 8D05 0DFF FF0A 0300 53E3 0610 A003  @.........S.....


root# grep -ibH "df" /usr/bin/xxd
Binary file /usr/bin/xxd matches
xxd -u /usr/bin/xxd | grep -H 'DF'
(standard input):00017b0: 4010 8D05 0DFF FF0A 0300 53E3 0610 A003  @.........S.....

Затем мы обнаружили, что мы можем получить полезные результаты с помощью

xxd -u /usr/bin/xxd > /tmp/xxd.hex ; grep -H 'DF' /tmp/xxd

Обратите внимание, что использование простой цели поиска, такой как "DF", будет неправильно соответствовать символам, которые охватывают границы байтов, т.е.

xxd -u /usr/bin/xxd | grep 'DF'
00017b0: 4010 8D05 0DFF FF0A 0300 53E3 0610 A003  @.........S.....
--------------------^^

Таким образом, мы используем регулярное выражение ORed для поиска 'DF' ИЛИ ​​'DF' (для параметра searchTarget предшествует пробел char).

Конечным результатом будет

xxd -u -ps -c 10000000000 DumpFile > DumpFile.hex
egrep ' DF|DF ' Dumpfile.hex

0001020: 0089 0424 8D95 D8F5 FFFF 89F0 E8DF F6FF  ...$............
-----------------------------------------^^
0001220: 0C24 E871 0B00 0083 F8FF 89C3 0F84 DF03  .$.q............
--------------------------------------------^^

Ответ 2

Кажется, это работает для меня:

grep --only-matching --byte-offset --binary --text --perl-regexp "<\x-hex pattern>" <file>

короткая форма:

grep -obUaP "<\x-hex pattern>" <file>

Пример:

grep -obUaP "\x01\x02" /bin/grep

Выход (cygwin binary):

153: <\x01\x02>
33210: <\x01\x02>
53453: <\x01\x02>

Таким образом, вы можете снова выполнить эту операцию, чтобы извлечь смещения. Но не забудьте снова использовать двоичный режим.

Ответ 3

grep имеет переключатель -P, позволяющий использовать синтаксис regexp perl регулярное выражение perl позволяет просматривать байты с использованием синтаксиса \x..

чтобы вы могли искать заданную шестнадцатеричную строку в файле с помощью: grep -aP "\xdf"

но вырез не будет очень полезен; действительно лучше сделать регулярное выражение на выходе hexdump;

grep -P может быть полезен, однако, просто найти файлы, сопоставляющие заданный двоичный шаблон. Или сделать двоичный запрос шаблона, который на самом деле происходит в тексте (см., например, Как переименовать идеограммы CJK (в utf- 8))

Ответ 4

Там также довольно удобный инструмент под названием binwalk, написанный на python, который обеспечивает двоичное сопоставление шаблонов (и довольно много больше). Здесь вы можете искать двоичную строку, которая выводит смещение в десятичной и шестнадцатеричной форме (из docs):

$ binwalk -R "\x00\x01\x02\x03\x04" firmware.bin
DECIMAL     HEX         DESCRIPTION
--------------------------------------------------------------------------
377654      0x5C336     Raw string signature

Ответ 5

Если вы хотите найти строки для печати, вы можете использовать:

strings -ao filename | grep string

выводят все строки для печати из двоичного кода с смещениями, а grep будет искать внутри.

Если вы хотите найти любую двоичную строку, вот ваш друг:

• https://github.com/tmbinc/bgrep

Ответ 6

Я просто использовал это:

grep -c $'\x0c' filename

Для поиска и подсчета символа управления страницей в файле.

Итак, чтобы включить смещение на выходе:

grep -b -o $'\x0c' filename | less

Я просто перенаправляю результат на меньшее, потому что символ, который я использую для печати, плохо печатается, и чем меньше результат отображает результаты.  Пример вывода:

21:^L
23:^L
2005:^L