У меня есть script, который объединяет несколько файлов в один, и он ломается, когда один из файлов имеет кодировку UTF8. Я полагаю, что при чтении файлов я должен использовать функцию utf8_decode(), но я не знаю, как определить, какая необходимость декодировать.
Мой код в основном:
$output = '';
foreach ($files as $filename) {
$output .= file_get_contents($filename) . "\n";
}
file_put_contents('combined.txt', $output);
В настоящее время в начале файла UTF8 он добавляет эти символы в вывод: 
Попробуйте использовать функцию mb_detect_encoding. Эта функция проверит вашу строку и попытается "угадать" ее кодировку. Затем вы можете конвертировать его по желанию. Однако, как предположил Брулак, вам, вероятно, лучше перейти на UTF-8, чем на сохранение данных, которые вы передаете.
Чтобы убедиться, что вывод UTF-8, независимо от того, какой вход он использовал, я использую этот check:
if(!mb_check_encoding($output, 'UTF-8')
OR !($output === mb_convert_encoding(mb_convert_encoding($output, 'UTF-32', 'UTF-8' ), 'UTF-8', 'UTF-32'))) {
$output = mb_convert_encoding($content, 'UTF-8', 'pass');
}
// $output is now safely converted to UTF-8!
Функция mb_detect_encoding должна быть вашим последним выбором. Это может вернуть неправильную кодировку. Командный file -i/path/myfile.txt Linux file -i/path/myfile.txt работает отлично. В PHP вы можете использовать:
function _detectFileEncoding($filepath) {
// VALIDATE $filepath !!!
$output = array();
exec('file -i ' . $filepath, $output);
if (isset($output[0])){
$ex = explode('charset=', $output[0]);
return isset($ex[1]) ? $ex[1] : null;
}
return null;
}
Это мое решение, которое работает как шарм:
//check string strict for encoding out of list of supported encodings
$enc = mb_detect_encoding($str, mb_list_encodings(), true);
if ($enc===false){
//could not detect encoding
}
else if ($enc!=="UTF-8"){
$str = mb_convert_encoding($str, "UTF-8", $enc);
}
else {
//UTF-8 detected
}
Как вы собираетесь обрабатывать символы не ASCII из файла UTF-8 или 16 или 32?
Я спрашиваю, потому что я думаю, что у вас может быть проблема дизайна здесь.
Я бы преобразовал ваш выходной файл в UTF-8 (или 16 или 32), а не наоборот.
Тогда у вас не будет этой проблемы.
Рассматривали ли вы также вопросы безопасности, которые могут возникнуть при преобразовании кода UTF-8, которому удалось избежать? Смотрите этот комментарий:
Обнаружение многобайтового кодирования
Выясните, в какой кодировке находится ваш исходный файл, затем конвертируйте его в UTF-8, и все будет хорошо.
Я недавно столкнулся с этой проблемой, и mb_convert_encoding() функции mb_convert_encoding() был UTF-8.
Взглянув на заголовки ответа, ничего не упоминало о типе кодировки, поэтому я обнаружил, что для HTTP-заголовка Set UTF-8 используется PHP, что предлагает следующее:
<?php
header('Content-Type: text/html; charset=utf-8');
После добавления этого в верхнюю часть PHP файла все забавные символы исчезли, и он рендерился, как и должно быть. Я не уверен, что это проблема, которую искал оригинальный постер, но я нашел это, пытаясь решить проблему самостоятельно, и решил, что поделюсь.
Для серверов Linux я использую эту команду:
$file = 'your/file.ext'
exec( "from='file -bi $file | awk -F'=' '{print $2 }'' && iconv -f \$from -t utf-8 $file -o $file" );
Сканирует весь файл, находит любую кодировку из mb_list_encodings, хорошую производительность.
function detectFileEncoding($filePath){
$fopen=fopen($filePath,'r');
$row = fgets($fopen);
$encodings = mb_list_encodings();
$encoding = mb_detect_encoding( $row, "UTF-8, ASCII, Windows-1252, Windows-1254" );//these are my favorite encodings
if($encoding !== false) {
$key = array_search($encoding, $encodings) !== false;
if ($key !== false)
unset($encodings[$key]);
$encodings = array_values($encodings);
}
$encKey = 0;
while ($row = fgets($fopen)) {
if($encoding == false){
$encoding = $encodings[$encKey++];
}
if(!mb_check_encoding($row, $encoding)){
$encoding =false;
rewind($fopen);
}
}
return $encoding;
}