Ответ 1
Поскольку вы не указали, хотите ли вы использовать n-граммы на уровне слов или символов, я просто буду считать первое, не теряя общности.
Я также предполагаю, что вы начинаете со списка токенов, представленных строками. То, что вы можете легко сделать, это записать n-граммовое извлечение самостоятельно.
def ngrams(tokens, MIN_N, MAX_N):
n_tokens = len(tokens)
for i in xrange(n_tokens):
for j in xrange(i+MIN_N, min(n_tokens, i+MAX_N)+1):
yield tokens[i:j]
Затем замените yield
фактическим действием, которое вы хотите взять на каждый n-грамм (добавьте его в dict
, сохраните его в базе данных, что угодно), чтобы избавиться от служебных данных генератора.
Наконец, если это действительно не достаточно быстро, конвертируйте приведенное выше в Cython и скомпилируйте его. Пример с использованием defaultdict
вместо yield
:
def ngrams(tokens, int MIN_N, int MAX_N):
cdef Py_ssize_t i, j, n_tokens
count = defaultdict(int)
join_spaces = " ".join
n_tokens = len(tokens)
for i in xrange(n_tokens):
for j in xrange(i+MIN_N, min(n_tokens, i+MAX_N)+1):
count[join_spaces(tokens[i:j])] += 1
return count