У меня есть модель word2vec в gensim, подготовленная над 98892 документами. Для любого данного предложения, отсутствующего в массиве предложений (т.е. Набора, над которым я обучал модель), мне нужно обновить модель этим предложением, чтобы запрос в следующий раз выдавал некоторые результаты. Я делаю это так:
new_sentence = ['moscow', 'weather', 'cold']
model.train(new_sentence)
и его печать в виде журналов:
2014-03-01 16:46:58,061 : INFO : training model with 1 workers on 98892 vocabulary and 100 features
2014-03-01 16:46:58,211 : INFO : reached the end of input; waiting to finish 1 outstanding jobs
2014-03-01 16:46:58,235 : INFO : training on 10 words took 0.1s, 174 words/s
Теперь, когда я запрашиваю с похожим new_sentence для большинства положительных элементов (как model.most_similar(positive=new_sentence)), он выдает ошибку:
Traceback (most recent call last):
File "<pyshell#220>", line 1, in <module>
model.most_similar(positive=['moscow', 'weather', 'cold'])
File "/Library/Python/2.7/site-packages/gensim/models/word2vec.py", line 405, in most_similar
raise KeyError("word '%s' not in vocabulary" % word)
KeyError: "word 'cold' not in vocabulary"
Что означает, что слово "холод" не является частью словаря, над которым я тренировал предмет (я прав)?
Итак, вопрос: как обновить модель, чтобы она выдавала все возможные сходства для данного нового предложения?
train() ожидает последовательность предложений при вводе, а не одно предложение.
train() только обновляет веса для существующих векторов функций на основе существующего словаря. Вы не можете добавить новый словарь (= новые векторы функций) с помощью train().
От gensim 0.13.3 можно сделать онлайн-обучение Word2Vec с помощью gensim.
model.build_vocab(new_sentences, update=True)
model.train(new_sentences)
Если ваша модель была сгенерирована с помощью инструмента C load_word2vec_format, обновление этой модели невозможно. См. Раздел учебного раздела word2vec по онлайн-обучению Учебное пособие по Word2Vec:
Обратите внимание, что его невозможно возобновить с помощью сгенерированных моделей инструментом C, load_word2vec_format(). Вы можете использовать их для опрос/сходство, но важная для обучения информация (vocab дерево) отсутствует.
Прежде всего, вы не можете добавлять новые слова к предварительно подготовленной модели.
Тем не менее, существует "новая" модель doc2vec, опубликованная в 2014 году, которая отвечает всем вашим требованиям. Вы можете использовать его для обучения вектору вектора вместо того, чтобы получить набор векторных слов, а затем объединить их. Лучшая часть - doc2vec может вывести невидимые предложения после обучения. Хотя модель по-прежнему не может быть изменена, вы можете получить хороший результат вывода, основанный на моем эксперименте.
Проблема в том, что вы не можете перепрограммировать модель word2vec с новыми предложениями. Это разрешает только doc2vec. Попробуйте модель doc2vec.
Вы можете добавить в словарь модели и добавить встраивание, используя FastText.
from gensim.models import FastText
Здесь вы можете увидеть несколько примеров FastText. Здесь вы можете увидеть, как использовать FastText для оценки случаев отсутствия словарного запаса (OOV).