Win32.: Как очистить HTML без регулярных выражений?

Ответ 1

Python:

lxml - быстрее, возможно, лучше разобрать плохой HTML

BeautifulSoup - если lxml не работает на вашем входе, попробуйте это.

Ruby: (слышал о следующих библиотеках, но никогда не пробовал их)

Nokogiri

hpricot

Хотя, если ваши парсеры задыхаются, и вы можете точно определить, что вызывает удушье, я, честно говоря, думаю, что можно использовать хакер regex, чтобы удалить эту часть, прежде чем передать ее парсеру.

Если вы решите использовать lxml, здесь some Учебники XPath, которые могут оказаться полезными. В учебниках lxml предполагается, что вы знаете, что такое XPath (чего я не делал, когда впервые их прочитал.)

Изменить: Ваше сообщение действительно выросло с тех пор, как оно впервые появилось... Я постараюсь ответить, что смогу.

Я не думаю, что XPath может выбирать узлы более высокого уровня на основе критериев узлов нижнего уровня:

Он может. Попробуйте //div[@class='vehicleInfo']/parent::div[@class='used_result_container']. Используйте ancestor, если вам нужно подняться на большее количество уровней. lxml также предоставляет метод getparent() в результатах поиска, и вы тоже можете это использовать. Действительно, вы должны посмотреть на сайты XPath, которые я связал; вы, вероятно, можете решить свои проблемы оттуда.

как получить доступ к повторяющимся структурам данных?

Казалось бы, запросы DOM точно соответствуют вашим потребностям. Запросы XPath возвращают вам список найденных элементов - чего еще вы хотите? И, несмотря на его название, lxml действительно принимает "свободный HTML". Кроме того, анализатор распознает "знаковые записи" в HTML и соответствующим образом структурирует весь документ, поэтому вам не нужно делать это самостоятельно.

Да, вам все равно придется выполнять поиск по структуре, но на более высоком уровне абстракции. Если разработчики сайта решают сделать перестройку страницы и полностью изменить имена и структуру своих div s, то это слишком плохо, вам нужно переписать свои запросы, но это займет меньше времени, чем переписывание вашего регулярного выражения. Ничто не сделает это автоматически для вас, если вы не хотите писать некоторые возможности AI в свой скребок страницы...

Я извиняюсь за то, что не предоставлял "собственные библиотеки Win32", сначала я предполагал, что вы просто подразумеваете "работает в Windows". Но другие ответили на эту часть.

Ответ 2

Используйте Html Agility Pack для .NET

Обновление

Так как вам нужно что-то родное/античное, а разметка, скорее всего, плохое, я бы рекомендовал запустить разметку через Tidy, а затем синтаксический анализ Xerces

Ответ 3

Native Win32

Вы всегда можете использовать IHtmlDocument2. В данный момент это встроено в Windows. С помощью этого COM-интерфейса вы получаете собственный доступ к мощному парсеру DOM (IE DOM parser!).

Ответ 4

Используйте Beautiful Soup.

Beautiful Soup - это синтаксический анализатор HTML/XML для Python, который может оказаться даже недействительным разметки в дерево разбора. Это обеспечивает простые, идиоматические способы навигации, поиск и изменение синтаксического анализа дерево. Это обычно спасает программистов часов или дней работы. Там также Рубиновый порт называется Rubyful Soup.

Ответ 5

Если вы действительно под Win32, вы можете использовать крошечный и быстрый COM-объект, чтобы сделать это

пример кода с vbs:

Set dom = CreateObject("htmlfile")
dom.write("<div>Click for <img src='http://www.google.com/images/srpr/logo1w.png'>Google</a></div>")
WScript.Echo(dom.Images.item(0).src)

Вы также можете сделать это в JScript, или VB/Dephi/С++/С#/Python и т.д. в Windows. Он использует макет mshtml.dll dom и парсер напрямую.

Ответ 6

Использовать парсер DOM

например. для java проверьте этот список

Open Source HTML Parsers в Java (мне нравится использовать cobra)

Или, если вы уверены, например. что вы только хотите проанализировать определенный подмножество вашего html, который в идеале также является xml, вы можете использовать некоторый синтаксический анализатор xml для анализа только того фрагмента, который вы передаете, а затем даже используйте xpath для запроса интересующих вас значений.

XML-парнеры с открытым исходным кодом в Java (например, dom4j прост в использовании)

Ответ 7

Альтернативой является использование анализатора html dom. К сожалению, похоже, что у большинства из них есть проблемы с плохо сформированным html, поэтому, кроме того, вам нужно запустить его через html-порядок или что-то подобное в первую очередь.

Ответ 8

Если парсер DOM не может быть и речи - по какой-то причине, Я бы выбрал вариант PHP explode() или все, что доступно на используемом вами языке программирования.

Вы можете, например, начать с разбиения на <div class="vehicleInfo">, что даст вам каждый результат (помните, чтобы игнорировать первое место). После этого вы можете зацикливать результаты, разделяющие каждый результат на <div class="makemodeltrim"> и т.д.

Это отнюдь не оптимальное решение, и оно будет довольно хрупким (почти любое изменение в макете документа сломает код).

Другой вариант - перейти к некоторой библиотеке селекторов CSS, например phpQuery или аналогичной для вашего языка программирования.

Ответ 9

Я думаю, что libxml2, несмотря на свое имя, также делает все возможное, чтобы разобрать HTML-суп с тегами. Это C-библиотека, поэтому она должна удовлетворять вашим требованиям. Вы можете найти здесь.

BTW, еще один рекомендованный lxml ответ, который является библиотекой Python, но на самом деле построен на libxml2. Если lxml работал хорошо для него, скорее всего, libxml2 будет хорошо работать для вас.

Ответ 10

Как об использовании Internet Explorer в качестве элемента управления ActiveX? Это даст вам полностью визуализированную структуру, поскольку она просматривает страницу.

Ответ 11

Модули HTML:: Parser и HTML:: Tree в Perl довольно хорошо разбираются в наиболее типичном так называемом HTML в Интернете. Оттуда вы можете найти элементы, используя запросы, похожие на XPath.

Ответ 12

Что вы думаете о ihtmldocument2, Я думаю, что это должно помочь.