Классификация с использованием модуля просмотра фильма в NLTK/Python

Я хочу сделать некоторую классификацию в духе NLTK Chapter 6. Книга, похоже, пропустит шаг по созданию категорий, и я не уверен, что я делаю неправильно. У меня есть script здесь с ответом. Мои проблемы в основном связаны с созданием первой части - категории, основанной на именах каталогов. Некоторые другие вопросы здесь использовали имена файлов (т.е. pos_1.txt и neg_1.txt), но я предпочел бы создавать каталоги, в которые я мог бы записывать файлы.

from nltk.corpus import movie_reviews

reviews = CategorizedPlaintextCorpusReader('./nltk_data/corpora/movie_reviews', r'(\w+)/*.txt', cat_pattern=r'/(\w+)/.txt')
reviews.categories()
['pos', 'neg']

documents = [(list(movie_reviews.words(fileid)), category)
            for category in movie_reviews.categories()
            for fileid in movie_reviews.fileids(category)]

all_words=nltk.FreqDist(
    w.lower() 
    for w in movie_reviews.words() 
    if w.lower() not in nltk.corpus.stopwords.words('english') and w.lower() not in  string.punctuation)
word_features = all_words.keys()[:100]

def document_features(document): 
    document_words = set(document) 
    features = {}
    for word in word_features:
        features['contains(%s)' % word] = (word in document_words)
    return features
print document_features(movie_reviews.words('pos/11.txt'))

featuresets = [(document_features(d), c) for (d,c) in documents]
train_set, test_set = featuresets[100:], featuresets[:100]
classifier = nltk.NaiveBayesClassifier.train(train_set)

print nltk.classify.accuracy(classifier, test_set)
classifier.show_most_informative_features(5)

Это возвращает:

File "test.py", line 38, in <module>
    for w in movie_reviews.words()

File "/usr/local/lib/python2.6/dist-packages/nltk/corpus/reader/plaintext.py", line 184, in words
    self, self._resolve(fileids, categories))

File "/usr/local/lib/python2.6/dist-packages/nltk/corpus/reader/plaintext.py", line 91, in words
    in self.abspaths(fileids, True, True)])

File "/usr/local/lib/python2.6/dist-packages/nltk/corpus/reader/util.py", line 421, in concat
    raise ValueError('concat() expects at least one object!')

ValueError: concat() expects at least one object!

--------- UPDATE ------------- Спасибо alvas за подробный ответ! Однако у меня есть два вопроса.

  • Можно ли захватить категорию из имени файла, как я пытался это сделать? Я надеялся сделать это в том же духе, что и метод review_pos.txt, только захват pos из имени папки, а не имени файла.

  • Я запустил ваш код и испытываю синтаксическую ошибку на

    train_set =[({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents[:numtrain]] test_set = [({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents[numtrain:]]

с морковью при первом for. Я начинающий пользователь Python, и я недостаточно разбираюсь в этом синтаксисе, чтобы попытаться устранить его.

---- ОБНОВЛЕНИЕ 2 ---- Ошибка

File "review.py", line 17
  for i in word_features}, tag)
    ^
SyntaxError: invalid syntax`

Ответы

Ответ 1

Да, учебное пособие по главе 6 нацелено на базовые знания для студентов и оттуда, студенты должны опираться на него, изучая то, что доступно в NLTK, а что нет. Так что давайте рассмотрим проблемы по одному.

Во-первых, способ получить "pos" / "neg" документы через каталог, скорее всего, будет правильным, так как корпус был организован таким образом.

from nltk.corpus import movie_reviews as mr
from collections import defaultdict

documents = defaultdict(list)

for i in mr.fileids():
    documents[i.split('/')[0]].append(i)

print documents['pos'][:10] # first ten pos reviews.
print
print documents['neg'][:10] # first ten neg reviews.

[выход]:

['pos/cv000_29590.txt', 'pos/cv001_18431.txt', 'pos/cv002_15918.txt', 'pos/cv003_11664.txt', 'pos/cv004_11636.txt', 'pos/cv005_29443.txt', 'pos/cv006_15448.txt', 'pos/cv007_4968.txt', 'pos/cv008_29435.txt', 'pos/cv009_29592.txt']

['neg/cv000_29416.txt', 'neg/cv001_19502.txt', 'neg/cv002_17424.txt', 'neg/cv003_12683.txt', 'neg/cv004_12641.txt', 'neg/cv005_29357.txt', 'neg/cv006_17022.txt', 'neg/cv007_4992.txt', 'neg/cv008_29326.txt', 'neg/cv009_29417.txt']

В качестве альтернативы мне нравится список кортежей, где первым является элемент список слов в .txt файле, а второй - категория. И при этом также удаляются стоп-слова и пунктуации:

from nltk.corpus import movie_reviews as mr
import string
from nltk.corpus import stopwords
stop = stopwords.words('english')
documents = [([w for w in mr.words(i) if w.lower() not in stop and w.lower() not in string.punctuation], i.split('/')[0]) for i in mr.fileids()]

Следующая ошибка в FreqDist(for w in movie_reviews.words() ...). В коде нет ничего плохого, просто вы должны попытаться использовать пространство имен (см. http://en.wikipedia.org/wiki/Namespace#Use_in_common_languages). Следующий код:

from nltk.corpus import movie_reviews as mr
from nltk.probability import FreqDist
from nltk.corpus import stopwords
import string
stop = stopwords.words('english')

all_words = FreqDist(w.lower() for w in mr.words() if w.lower() not in stop and w.lower() not in string.punctuation)

print all_words

[выходы]:

<FreqDist: 'film': 9517, 'one': 5852, 'movie': 5771, 'like': 3690, 'even': 2565, 'good': 2411, 'time': 2411, 'story': 2169, 'would': 2109, 'much': 2049, ...>

Так как приведенный выше код правильно печатает FreqDist, ошибка кажется, что у вас нет файлов в каталоге nltk_data/.

Тот факт, что у вас есть fic/11.txt, говорит о том, что вы используете более старую версию корпусов NLTK или NLTK. Обычно fileids в movie_reviews начинается либо с pos/neg, либо с косой чертой, затем с именем файла и, наконец, .txt, например. pos/cv001_18431.txt.

Итак, я думаю, может быть, вы должны повторно загрузить файлы с помощью:

$ python
>>> import nltk
>>> nltk.download()

Затем убедитесь, что корпус просмотра фильма правильно загружен на вкладке "Корпорация":

MR dl

Возвращаясь к коду, прокручивая все слова в корпусе просмотра фильма, кажется излишним, если у вас уже есть все слова, отфильтрованные в ваших документах, поэтому я предпочел бы сделать это, чтобы извлечь все возможности:

word_features = FreqDist(chain(*[i for i,j in documents]))
word_features = word_features.keys()[:100]

featuresets = [({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents]

Далее, разделение поезда/теста по функциям в порядке, но я считаю, что лучше использовать документы, поэтому вместо этого:

featuresets = [({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents]
train_set, test_set = featuresets[100:], featuresets[:100]

Я бы рекомендовал это вместо:

numtrain = int(len(documents) * 90 / 100)
train_set = [({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents[:numtrain]]
test_set = [({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents[numtrain:]]

Затем загрузите данные в классификатор и вуаля! Итак, здесь код без комментариев и пошагового руководства:

import string
from itertools import chain

from nltk.corpus import movie_reviews as mr
from nltk.corpus import stopwords
from nltk.probability import FreqDist
from nltk.classify import NaiveBayesClassifier as nbc
import nltk

stop = stopwords.words('english')
documents = [([w for w in mr.words(i) if w.lower() not in stop and w.lower() not in string.punctuation], i.split('/')[0]) for i in mr.fileids()]

word_features = FreqDist(chain(*[i for i,j in documents]))
word_features = word_features.keys()[:100]

numtrain = int(len(documents) * 90 / 100)
train_set = [({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents[:numtrain]]
test_set = [({i:(i in tokens) for i in word_features}, tag) for tokens,tag in documents[numtrain:]]

classifier = nbc.train(train_set)
print nltk.classify.accuracy(classifier, test_set)
classifier.show_most_informative_features(5)

[выход]:

0.655
Most Informative Features
                     bad = True              neg : pos    =      2.0 : 1.0
                  script = True              neg : pos    =      1.5 : 1.0
                   world = True              pos : neg    =      1.5 : 1.0
                 nothing = True              neg : pos    =      1.5 : 1.0
                     bad = False             pos : neg    =      1.5 : 1.0