Как извлечь фразы из корпуса с помощью gensim
Для предварительной обработки корпуса я планировал выдать общие фразы из корпуса, для этого я попытался использовать модель Фразы в gensim, я попытался под кодом, но это не дало мне желаемого результата.
Мой код
from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes"]
sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])
Выход
[u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
Но это должно выглядеть как
[u'the', u'mayor', u'of', u'new_york', u'was', u'there']
Но когда я попытался напечатать vocab данных поезда, я могу видеть bigram, но он не работает с тестовыми данными, где я ошибаюсь?
print bigram.vocab
defaultdict(<type 'int'>, {'useful': 1, 'was_there': 1, 'learning_can': 1, 'learning': 1, 'of_new': 1, 'can_be': 1, 'mayor': 1, 'there': 1, 'machine': 1, 'new': 1, 'was': 1, 'useful_sometimes': 1, 'be': 1, 'mayor_of': 1, 'york_was': 1, 'york': 1, 'machine_learning': 1, 'the_mayor': 1, 'new_york': 1, 'of': 1, 'sometimes': 1, 'can': 1, 'be_useful': 1, 'the': 1})
Ответы
Ответ 1
Я получил решение проблемы. Было два параметра, которые я не позаботился о них, которые должны быть переданы в Фразы(), это
-
min_count игнорировать все слова и биграммы с общим количеством собранных ниже. Bydefault это значение 5
-
порог представляет собой пороговое значение для формирования фраз (более высокое означает меньшее количество фраз). Фраза слов a и b принимается, если (cnt (a, b) - min_count) * N/(cnt (a) * cnt (b)) > порог, где N - общий размер словарного запаса. Значение Bydefault составляет 10.0
С моими данными о поездке с двумя операторами пороговое значение было 0, поэтому я изменяю набор данных поездов и добавляю эти два параметра.
Мой новый код
from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes","new york mayor was present"]
sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream, min_count=1, threshold=2)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])
Выход
[u'the', u'mayor', u'of', u'new_york', u'was', u'there']
Gensim действительно потрясающий:)
