Странные символы: взаимодействие языка R и Windows?

У меня есть проблема, которая (я думаю) связана с взаимодействием между Windows и R.

Я пытаюсь очистить таблицу данными о Гавайских островах. Это мой код R:

Как видите, там есть "странные" персонажи. Я также пробовал readHTMLTable(u, encoding = "UTF-16") и readHTMLTable(u, encoding = "UTF-8") но это не помогло.

Мне кажется, что может возникнуть проблема с взаимодействием настроек Windows набора символов и R.

Я также попытался позволить R использовать другой параметр, введя: Sys.setlocale("LC_ALL", "en_US.UTF-8"), но это дает ответ:

Кроме того, я попытался внести изменения непосредственно из командной строки Windows, используя: chcp 65001 и варианты этого, но это ничего не изменило.

Я заметил, что при поиске в Интернете у других есть проблема, но они не смогли найти решение. Похоже, что это проблема взаимодействия Windows и R. К сожалению, все три компьютера в моем распоряжении имеют эту проблему. Это происходит как под WinXP-x32, так и под Win7-x86.

Есть ли способ сделать R переопределить параметры Windows или решить проблему иначе? Я также пробовал другие веб-сайты, и эта проблема возникает каждый раз, когда в тексте, который вы читаете, есть é, ü, ä, î и т.д.

Ответы

Ответ 1

Не совсем ответ:

Если вы посмотрите на страницу wikipedia и измените кодировку в своем браузере (в IE, View → Encoding, в Firefox, View → Кодировка символов) на Western (ISO-8869-1) или Western (Windows-1252), тогда вы видите глупых персонажей. Это должно означать, что вы можете использовать iconv для изменения кодировки и устранения ваших проблем.

#Convert factors to character
Islands <- as.data.frame(lapply(Islands, as.character), stringsAsFactors = FALSE)

iconv(Islands$Island, "windows-1252", "UTF-8")

К сожалению, он не работает. Возможно получить правильный текст, используя другое преобразование (iconvlist() показывает все возможности).

Возможно, он просто вычеркивает нарушающие символы, хотя это не идеально.

iconv(Islands$Island, "windows-1252", "ASCII", "")

Ответ 2

Невозможно реплицировать ошибку, однако полезно использовать файлы справки.

Sys.setlocale("LC_TIME", "de")     # Solaris: details are OS-dependent
Sys.setlocale("LC_TIME", "de_DE.utf8")   # Modern Linux etc.
Sys.setlocale("LC_TIME", "de_DE.UTF-8")  # ditto
Sys.setlocale("LC_TIME", "de_DE")  # OS X, in UTF-8
Sys.setlocale("LC_TIME", "German") # Windows

Для окон вы должны использовать форматирование, например "Английский" или "Dutch_Netherlands.1252", чтобы изменить эти параметры.

Я попытался воспроизвести ваше состояние

> Sys.setlocale("LC_ALL","Dutch_Netherlands.1252")
[1] "LC_COLLATE=Dutch_Netherlands.1252;LC_CTYPE=Dutch_Netherlands.1252;LC_MONETARY=Dutch_Netherlands.1252;LC_NUMERIC=C;LC_TIME=Dutch_Netherlands.1252"
> Sys.getlocale()
[1] "LC_COLLATE=Dutch_Netherlands.1252;LC_CTYPE=Dutch_Netherlands.1252;LC_MONETARY=Dutch_Netherlands.1252;LC_NUMERIC=C;LC_TIME=Dutch_Netherlands.1252"

library(XML)
u <- "http://en.wikipedia.org/wiki/Hawaii"
tables <- readHTMLTable(u)
Islands <- tables[[5]]

Однако я не получаю забавные символы в консоли, в моей собственной локали "отмечен как", но все же осталась функциональность.

> Islands[1,1]
[1] Hawaiʻi[27]
8 Levels: Hawaiʻi[27] Kahoʻolawe[34] Kauaʻi[30] Lānaʻi[32] Maui[28] ... Oʻahu[29]

И эти забавные символы можно легко прочитать и найти из таблицы.

> Encoding(as.character("Hawaiʻi"))
[1] "UTF-8"
> Encoding(as.character(Islands[1,1]))
[1] "UTF-8"
> grep("Hawaiʻi", as.character(Islands[1,1]))
[1] 1

Если у вас все еще есть проблемы, он будет полагаться на другие места, однако, чтобы изменить локаль под окнами, вы должны использовать разные имена, чем Linux или OS X (например, см. вашу собственную информацию о локали). В Windows "голландский", вероятно, достаточно.