Анализ синтаксического анализа страниц с помощью Node.js и XPath

Ответ 1

Вы можете сделать это несколькими шагами.

• Разбор HTML с parse5. Плохая часть заключается в том, что результатом не является DOM. Хотя это достаточно быстро и W3C-compiant.
• Сериализуйте его в XHTML с помощью xmlserializer, который принимает DOM-подобные структуры parse5 в качестве входных данных.
• Разберите этот XHTML снова с помощью xmldom. Теперь у вас наконец есть DOM.
• Библиотека xpath основывается на xmldom, что позволяет вам настраивать запросы XPath. Имейте в виду, что XHTML имеет собственное пространство имен, а запросы типа //a не будут работать.

Наконец, вы получите что-то вроде этого.

const fs = require('mz/fs');
const xpath = require('xpath');
const parse5 = require('parse5');
const xmlser = require('xmlserializer');
const dom = require('xmldom').DOMParser;

(async () => {
    const html = await fs.readFile('./test.htm');
    const document = parse5.parse(html.toString());
    const xhtml = xmlser.serializeToString(document);
    const doc = new dom().parseFromString(xhtml);
    const select = xpath.useNamespaces({"x": "http://www.w3.org/1999/xhtml"});
    const nodes = select("//x:a/@href", doc);
    console.log(nodes);
})();

Ответ 2

Libxmljs в настоящее время является самой быстрой реализацией (что-то как эталонный тест), поскольку это только привязки к LibXML C-library, которая поддерживает запросы XPath 1.0:

var libxmljs = require("libxmljs");
var xmlDoc = libxmljs.parseXml(xml);
// xpath queries
var gchild = xmlDoc.get('//grandchild');

Однако вам нужно сначала дезинформировать свой HTML-код и преобразовать его в правильный XML. Для этого вы можете использовать утилиту командной строки HTMLTidy (tidy -q -asxml input.html), или если вы хотите сохранить node - только что-то вроде xmlserializer должен сделать трюк.

Ответ 3

Я только начал использовать npm install htmlstrip-native, который использует встроенную реализацию для анализа и извлечения соответствующих частей html. Он утверждает, что он в 50 раз быстрее, чем чистая реализация js (я не подтвердил это требование).

В зависимости от ваших потребностей вы можете напрямую использовать html-strip или поднять код и привязки, чтобы вы сами использовали С++ внутри htmlstrip-native

Если вы хотите использовать xpath, используйте здесь уже обернутую оболочку;  https://www.npmjs.org/package/xpath

Ответ 4

Я думаю, Osmosis - это то, что вы ищете.

• Использует собственные привязки libxml C
• Поддержка гибридных селекторов CSS 3.0 и XPath 1.0
• Селекторы Sizzle, селектор Slick и многое другое
• Никаких больших зависимостей, таких как jQuery, cheerio или jsdom

• Функции парсера HTML

  • Быстрый парсинг
  • Очень быстрый поиск
  • Малая занимаемая площадь памяти

• Особенности HTML DOM

  • Загрузка и поиск содержимого ajax
  • Взаимодействие с DOM и события
  • Выполнение встроенных и удаленных сценариев
  • Выполнить код в DOM

Вот пример:

osmosis.get(url)
    .find('//div[@class]/ul[2]/li')
    .then(function () {
        count++;
    })
    .done(function () {
        assert.ok(count == 2);
        assert.done();
    });

Ответ 5

Невозможно правильно проанализировать HTML-страницы. Самый первый обзор веб-соскабливания и обхода показывает мне, что Scrapy может быть хорошим кандидатом для ваших нужд. Он принимает как селектор CSS, так и XPath. В области Node.js мы имеем довольно новый модуль node-osmosis. Этот модуль построен на libxmljs, так что он должен поддерживать как CSS, так и XPath, хотя я не нашел никакого примера с помощью XPath.