PHP DOMDocument loadHTML неправильно кодирует UTF-8
Я пытаюсь разобрать HTML-код с использованием DOMDocument, но когда я это делаю, я внезапно теряю свою кодировку (по крайней мере, так оно мне кажется).
$profile = "<div><p>various japanese characters</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile);
$divs = $dom->getElementsByTagName('div');
foreach ($divs as $div) {
echo $dom->saveHTML($div);
}
В результате этого кода я получаю кучу символов, которые не являются японскими. Однако, если я это сделаю:
echo $profile;
отображается правильно. Я попробовал saveHTML и saveXML, и ни один из них не отображается правильно. Я использую PHP 5.3.
Что я вижу:
ã¤ãªãã¤å·ã·ã«ã´ã«ã¦ãã¢ã¤ã«ã©ã³ãç³»ã®å®¶åºã«ã9人åå¼ã®5çªç®ã¨ãã¦çã¾ãããå½¼ãå«ãã¦4人ã俳åªã«ãªã£ããç¶è¦ªã¯æ¨æã®ã»ã¼ã«ã¹ãã³ã§ãæ¯è¦ªã¯éµä¾¿å±ã®å®¢å®¤ä¿ã ã£ãã髿 ¡æä»£ã¯ãã£ãã£ã®ã¢ã«ãã¤ãã«å¤ãã¿ãæè²è³éãåããªããã«ããªãã¯ç³»ã®é«æ ¡ã¸é²å¦ã
Что должно быть показано:
イリノイ州シカゴにて、アイルランド系の家庭に、9人兄弟の5番目として生まれる。彼を含めて4人が俳優になった。父親は木材のセールスマンで、母親は郵便局の客室係だった。高校時代はキャディのアルバイトに勤しみ、教育資金を受けながらカトリック系の高校へ進学
EDIT: я упростил код до пяти строк, чтобы вы могли проверить его самостоятельно.
$profile = "<div lang=ja><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile);
echo $dom->saveHTML();
echo $profile;
Вот html, который возвращается:
<div lang="ja"><p>イリノイ州シカゴã«ã¦ã€ã‚¢ã‚¤ãƒ«ãƒ©ãƒ³ãƒ‰ç³»ã®å®¶åºã«ã€</p></div>
<div lang="ja"><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>
Ответы
Ответ 1
DOMDocument::loadHTML
будет обрабатывать вашу строку как находящуюся в ISO-8859-1, если вы не DOMDocument::loadHTML
иначе. Это приводит к тому, что строки UTF-8 интерпретируются неправильно.
Если ваша строка не содержит объявления кодировки XML, вы можете добавить его, чтобы строка была обработана как UTF-8:
$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();
Если вы не можете знать, будет ли строка уже содержать такое объявление, в SmartDOMDocument есть обходной путь, который должен вам помочь:
$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();
Это не лучший обходной путь, но, поскольку не все символы могут быть представлены в ISO-8859-1 (как эти катаны), это самая безопасная альтернатива.
Ответ 2
Проблема в saveHTML()
и saveXML()
, они оба не работают правильно в Unix. Они не сохраняют символы UTF-8 правильно при использовании в Unix, но работают в Windows.
Обходной путь очень прост:
Если вы попробуете по умолчанию, вы получите ошибку, которую вы описали
$str = $dom->saveHTML(); // saves incorrectly
Все, что вам нужно сделать, это сохранить следующим образом:
$str = $dom->saveHTML($dom->documentElement); // saves correctly
Эта строка кода поможет вам правильно сохранить символы UTF-8. Используйте тот же обходной путь, если вы используете saveXML()
.
Обновление
В соответствии с предложением "Джека М" в разделе комментариев ниже и подтверждением "Pamela" и "Marco Aurélio Deleu", следующий вариант может работать в ваш случай:
$str = utf8_decode($dom->saveHTML($dom->documentElement));
Примечание
Английские символы не вызывают проблем при использовании saveHTML()
без параметров (поскольку английские символы сохраняются как однобайтовые символы в UTF-8)
Проблема возникает, когда у вас есть многобайтовые символы (например, китайский, русский, арабский, иврит и т.д.)
Я рекомендую прочитать эту статью: http://coding.smashingmagazine.com/2012/06/06/all-about-unicode-utf8-character-sets/. Вы поймете, как работает UTF-8 и почему у вас такая проблема. Это займет у вас около 30 минут, но это хорошо проведенное время.
Ответ 3
Убедитесь, что реальный исходный файл сохранен как UTF-8 (возможно, вы даже захотите попробовать не рекомендуемые символы спецификации с UTF-8).
Также в случае HTML убедитесь, что вы указали правильную кодировку с помощью тегов meta
:
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
Если это CMS (как вы отметили свой вопрос с помощью Joomla), вам может потребоваться настроить соответствующие настройки для кодирования.
Ответ 4
Вы можете префикс строки, применяющей кодировку utf-8
, например:
@$doc->loadHTML('<?xml version="1.0" encoding="UTF-8"?>' . "\n" . $profile);
И вы можете продолжить с кодом, который у вас уже есть, например:
$doc->saveXML()
Ответ 5
Мне потребовалось некоторое время, чтобы выяснить, но вот мой ответ.
Прежде чем использовать DomDocument, я бы использовал file_get_contents для извлечения URL-адресов, а затем обработал их строковыми функциями. Возможно, это не лучший способ, но быстрый. Убедившись, что Дом был таким же быстрым, я сначала попробовал следующее:
$dom = new DomDocument('1.0', 'UTF-8');
if ($dom->loadHTMLFile($url) == false) { // read the url
// error message
}
else {
// process
}
Это не удалось эффектно сохранить кодировку UTF-8, несмотря на правильные метатеги, настройки php и все остальные средства, предлагаемые здесь и в других местах. Вот что работает:
$dom = new DomDocument('1.0', 'UTF-8');
$str = file_get_contents($url);
if ($dom->loadHTML(mb_convert_encoding($str, 'HTML-ENTITIES', 'UTF-8')) == false) {
}
и т.д.. Теперь все правильно с миром. Надеюсь, это поможет.
Ответ 6
Вы должны подать DOMDocument версию своего HTML с заголовком, который имеет смысл.
Также как HTML5.
$profile ='<?xml version="1.0" encoding="'.$_encoding.'"?>'. $html;
возможно, это хорошая идея, чтобы ваш html был как можно более эффективным, так что вы не попадаете в проблемы, когда вы начнете запрос... вокруг:-) и избегайте htmlentities
!!!! Это необходимое и лишнее тратить ресурсы.
держите свой код безумным!!!!
Ответ 7
Работает для меня:
$dom = new \DOMDocument;
$dom->loadHTML(utf8_decode($html));
...
return utf8_encode( $dom->saveHTML());
Ответ 8
Я использую php 7.3.8 на Манджаро, и я работал с персидским контентом. Это решило мою проблему:
$html = 'hi</b><p>سلام<div>の家庭に、9 ☆';
$doc = new DOMDocument('1.0', 'UTF-8');
$doc->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8'));
print $doc->saveHTML($doc->documentElement) . PHP_EOL . PHP_EOL;
Ответ 9
Используйте его для правильного результата
$dom = new DOMDocument();
$dom->loadHTML('<meta http-equiv="Content-Type" content="text/html; charset=utf-8">' . $profile);
echo $dom->saveHTML();
echo $profile;
Эта операция
mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8');
Это плохо, потому что специальные символы, такие как & lt;, & delta; может быть в $profile, и они не будут конвертировать два раза после mb_convert_encoding. Это отверстие для XSS и неправильный HTML.
Ответ 10
Проблема заключается в том, что при добавлении параметра в функцию DOMDocument:: saveHTML() вы теряете кодировку. В некоторых случаях вам нужно избегать использования параметра и использовать старую строковую функцию, чтобы найти то, что вы ищете.
Я думаю, что предыдущий ответ работает на вас, но поскольку это обходное решение не сработало для меня, я добавляю этот ответ, чтобы помочь ppl, который может быть в моем случае.
Ответ 11
Попробуйте использовать utf8_encode