Я занимаюсь тематическим моделированием с помощью пакета topicmodels в R. Я создаю объект Corpus, выполняя некоторую базовую предварительную обработку и создавая DocumentTermMatrix:
corpus <- Corpus(VectorSource(vec), readerControl=list(language="en"))
corpus <- tm_map(corpus, tolower)
corpus <- tm_map(corpus, removePunctuation)
corpus <- tm_map(corpus, removeWords, stopwords("english"))
corpus <- tm_map(corpus, stripWhitespace)
corpus <- tm_map(corpus, removeNumbers)
...snip removing several custom lists of stopwords...
corpus <- tm_map(corpus, stemDocument)
dtm <- DocumentTermMatrix(corpus, control=list(minDocFreq=2, minWordLength=2))
И затем выполнение LDA:
LDA(dtm, 30)
Этот последний вызов LDA() возвращает ошибку
"Each row of the input matrix needs to contain at least one non-zero entry".
Я предполагаю, что это означает, что после предварительной обработки есть хотя бы один документ, в котором нет терминов. Есть ли простой способ удалить документы, не содержащие терминов из DocumentTermMatrix?
Я просмотрел документацию для пакета topicmodels и нашел функцию removeSparseTerms, которая удаляет термины, которые не отображаются в каком-либо документе, но нет аналога для удаления документов.
"Each row of the input matrix needs to contain at least one non-zero entry"
Ошибка означает, что разреженная матрица содержит строку без записей (слов). одна идея состоит в том, чтобы вычислить сумму слов по строке
rowTotals <- apply(dtm , 1, sum) #Find the sum of words in each Document
dtm.new <- dtm[rowTotals> 0, ] #remove all docs without words
Ответ agstudy отлично работает, но использование его на медленном компьютере оказалось довольно проблематичным.
tic()
row_total = apply(dtm, 1, sum)
dtm.new = dtm[row_total>0,]
toc()
4.859 sec elapsed
(это было сделано с размером 4000x15000 точек на дюйм)
Узкое место, кажется, применяет sum() к разреженной матрице.
Макет документа-терма, созданный пакетом tm, содержит имена я и j, которые являются индексами, где записи находятся в разреженной матрице. Если dtm$i не содержит определенного индекса строки p, то строка p пуста.
tic()
ui = unique(dtm$i)
dtm.new = dtm[ui,]
toc()
0.121 sec elapsed
ui содержит все ненулевые индексы, а так как dtm$i уже упорядочен, dtm.new будет в том же порядке, что и dtm. Увеличение производительности может не иметь значения для матричных матриц меньшего документа, но может стать значительным с более крупными матрицами.
Это просто для того, чтобы уточнить ответ, заданный agstudy.
Вместо того, чтобы удалять пустые строки из матрицы dtm, мы можем идентифицировать документы в нашем корпусе, которые имеют нулевую длину, и удалять документы непосредственно из корпуса, перед выполнением второго dtm с только непустыми документами.
Это полезно для поддержания соответствия 1:1 между dtm и корпусом.
empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]]
corpus <- corpus[-as.numeric(empty.rows)]
Просто удалите разреженные термины из DTM, и все будет хорошо работать.
dtm <- DocumentTermMatrix(crude, sparse=TRUE)
Просто небольшое добавление к ответу Дарио Лакана:
empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]]
будет собирать запись id, а не порядковые номера. Попробуйте следующее:
library(tm)
data("crude")
dtm <- DocumentTermMatrix(crude)
dtm[1, ]$dimnames[1][[1]] # return "127", not "1"
Если вы создаете свой собственный корпус с последовательной нумерацией, после очистки данных некоторые документы могут быть удалены, а нумерация также будет нарушена. Поэтому лучше использовать id напрямую:
corpus <- tm_filter(
corpus,
FUN = function(doc) !is.element(meta(doc)$id, empty.rows))
# !( meta(doc)$id %in% emptyRows )
)