Как извлечь данные из таблицы html в оболочке script?

Ответ 1

Перейдите с (g)awk, он способен:-), вот решение, но учтите: он работает только с точным форматом html-таблицы, который вы разместили.

 awk -F "</*td>|</*tr>" '/<\/*t[rd]>.*[A-Z][A-Z]/ {print $3, $5, $7 }' FILE

Здесь вы можете увидеть его в действии: https://ideone.com/zGfLe

Некоторое объяснение:

• -F устанавливает разделитель полей ввода в regexp (любой из tr или td открывающего или закрывающего тега

• затем работает только в строках, соответствующих этим тегам, и по крайней мере два поля upercasse

• затем распечатает необходимые поля.

НТН

Ответ 2

Вы можете использовать bash xpath ( XML:: XPath perl-модуль), чтобы выполнить эту задачу очень легко:

xpath -e '//tr[position()>1]' test_input1.xml 2> /dev/null | sed -e 's/<\/*tr>//g' -e 's/<td>//g' -e 's/<\/td>/ /g'

Ответ 3

Вы можете использовать команду html2text и форматировать столбцы с помощью column, например:

$ html2text table.html | column -ts'|'

Component                                      Status  Time / Error
SAVE_DOCUMENT                                           OK            0.406 s     
GET_DOCUMENT                                            OK            0.332 s     
DVK_SEND                                                OK            0.001 s     
DVK_RECEIVE                                             OK            0.001 s     
GET_USER_INFO                                           OK            0.143 s     
NOTIFICATIONS                                           OK            0.001 s     
ERROR_LOG                                               OK            0.001 s     
SUMMARY_STATUS                                          OK            0.888 s     

затем проанализируйте его дальше оттуда (например, cut, awk, ex).

Если вы хотите сначала отсортировать его, вы можете использовать ex, см. пример здесь или здесь.

Ответ 4

Существует много способов сделать это, но здесь один:

grep '^<tr><td>' < $FILENAME \
| sed \
    -e 's:<tr>::g'  \
    -e 's:</tr>::g' \
    -e 's:</td>::g' \
    -e 's:<td>: :g' \
| cut -c2-

Вы можете использовать больше sed (1) (-e 's:^ ::') вместо cut -c2-, чтобы удалить ведущее пространство, но cut (1) не получает столько любви, сколько она того заслуживает. И обратная косая черта просто для форматирования, вы можете удалить их, чтобы получить один лайнер или оставить их, и убедитесь, что за ними сразу следует новая строка.

Основная стратегия заключается в том, чтобы медленно вытащить HTML отдельно по частям, а не пытаться сделать все это сразу с одной непонятной кучей синтаксиса регулярных выражений.

Анализ HTML с конвейером оболочки - это не лучшая идея, но вы можете это сделать, если HTML, как известно, поставляется в очень специфическом формате. Если будет вариация, вам будет лучше с помощью реального парсера HTML в Perl, Ruby, Python или даже C.

Ответ 5

Решение на основе многоплатформенного CLI xidel и XQuery:

xidel -s --xquery 'for $tr in //tr[position()>1] return join($tr/td, " ")' file

При вводе образца это дает:

SAVE_DOCUMENT OK 0.406 s
GET_DOCUMENT OK 0.332 s
DVK_SEND OK 0.001 s
DVK_RECEIVE OK 0.001 s
GET_USER_INFO OK 0.143 s
NOTIFICATIONS OK 0.001 s
ERROR_LOG OK 0.001 s
SUMMARY_STATUS OK 0.888 s

Пояснение:

• Запрос XQuery for $tr in //tr[position()>1] return join($tr/td, " ") обрабатывает элементы tr, начиная со второго (position()>1, чтобы пропустить строку заголовка) в цикле и объединяет значения дочерних элементов td ($tr/td) с единственным пространством в качестве разделителя.

• -s делает xidel тихим (подавляет вывод информации о состоянии).

В то время как html2text удобен для отображения извлеченных данных, предоставляет машинный синтаксический анализ выход нетривиальный, к сожалению:

html2text file | awk -F' *\\|' 'NR>2 {gsub(/^\||.\b/, ""); $1=$1; print}'

Команда Awk удаляет скрытые последовательности \b (основанные на обратном пространстве), которые html2text выводит по умолчанию, и анализирует строки в полях на |, а затем выводит их с пробелом в качестве разделителя ( пробел - разделитель полей вывода по умолчанию Awk, чтобы изменить его на вкладку, например, используйте -v OFS='\t').

^{Примечание. Использование -nobs для подавления обратных пространств в источнике не является опцией, потому что тогда вы не сможете отличить экземпляры _ скрытого по умолчанию, используемые для заполнения и фактических _ символов в данных.}

Примечание. Учитывая, что html2text, по-видимому, неизменно использует | в качестве разделителя столбцов, приведенное выше будет работать только с уверенностью, если экземпляры no | в извлекаемых данных.

Ответ 6

Вы можете проанализировать файл, используя редактор Ex (часть Vim), удалив теги HTML, например:

$ ex -s +'%s/<[^>]\+>/ /g' +'v/0/d' +'wq! /dev/stdout' table.html 
  SAVE_DOCUMENT  OK  0.406 s  
  GET_DOCUMENT  OK  0.332 s  
  DVK_SEND  OK  0.001 s  
  DVK_RECEIVE  OK  0.001 s  
  GET_USER_INFO  OK  0.143 s  
  NOTIFICATIONS  OK  0.001 s  
  ERROR_LOG  OK  0.001 s  
  SUMMARY_STATUS  OK  0.888 s 

Вот более короткая версия, распечатав весь файл без HTML-тегов:

$ ex +'%s/<[^>]\+>/ /g|%p' -scq! table.html

Пояснение:

• %s/<[^>]\+>/ /g - S размещать все теги HTML в пустом пространстве.
• v/0/d - D выделяет все строки без 0.
• wq! /dev/stdout - Q Редактор uits и w обменивает буфер на стандартный вывод.