Есть так много руководств о том, как tokenize предложение, но я не нашел никаких способов сделать обратное.
import nltk
words = nltk.word_tokenize("I've found a medicine for my disease.")
result I get is: ['I', "'ve", 'found', 'a', 'medicine', 'for', 'my', 'disease', '.']
Есть ли какая-либо функция, кроме того, чтобы возвращать токенированное предложение в исходное состояние. Функция tokenize.untokenize() по какой-то причине не работает.
Edit:
Я знаю, что могу это сделать, например, и это, вероятно, решает проблему, но мне любопытно, есть ли для этого встроенная функция:
result = ' '.join(sentence).replace(' , ',',').replace(' .','.').replace(' !','!')
result = result.replace(' ?','?').replace(' : ',': ').replace(' \'', '\'')
Вы можете использовать "детекенизатор treebank" - TreebankWordDetokenizer:
from nltk.tokenize.treebank import TreebankWordDetokenizer
TreebankWordDetokenizer().detokenize(['the', 'quick', 'brown'])
# 'The quick brown'
Существует также MosesDetokenizer который был в nltk но был удален из-за проблем с лицензированием, но доступен в виде отдельного пакета Sacremoses.
Чтобы отменить word_tokenize из nltk, я предлагаю посмотреть http://www.nltk.org/_modules/nltk/tokenize/punkt.html#PunktLanguageVars.word_tokenize и сделать некоторые обратные разработки.
Не говоря о безумных хаках на nltk, вы можете попробовать следующее:
>>> import nltk
>>> import string
>>> nltk.word_tokenize("I've found a medicine for my disease.")
['I', "'ve", 'found', 'a', 'medicine', 'for', 'my', 'disease', '.']
>>> tokens = nltk.word_tokenize("I've found a medicine for my disease.")
>>> "".join([" "+i if not i.startswith("'") and i not in string.punctuation else i for i in tokens]).strip()
"I've found a medicine for my disease."
from nltk.tokenize.treebank import TreebankWordDetokenizer
TreebankWordDetokenizer().detokenize(['the', 'quick', 'brown'])
# 'The quick brown'
используйте token_utils.untokenize из здесь
import re
def untokenize(words):
"""
Untokenizing a text undoes the tokenizing operation, restoring
punctuation and spaces to the places that people expect them to be.
Ideally, `untokenize(tokenize(text))` should be identical to `text`,
except for line breaks.
"""
text = ' '.join(words)
step1 = text.replace("`` ", '"').replace(" ''", '"').replace('. . .', '...')
step2 = step1.replace(" ( ", " (").replace(" ) ", ") ")
step3 = re.sub(r' ([.,:;?!%]+)([ \'"`])', r"\1\2", step2)
step4 = re.sub(r' ([.,:;?!%]+)$', r"\1", step3)
step5 = step4.replace(" '", "'").replace(" n't", "n't").replace(
"can not", "cannot")
step6 = step5.replace(" ` ", " '")
return step6.strip()
tokenized = ['I', "'ve", 'found', 'a', 'medicine', 'for', 'my','disease', '.']
untokenize(tokenized)
"I've found a medicine for my disease."
Причина tokenize.untokenize не работает, потому что ей нужна больше информации, чем просто слова. Вот пример программы, использующей tokenize.untokenize:
from StringIO import StringIO
import tokenize
sentence = "I've found a medicine for my disease.\n"
tokens = tokenize.generate_tokens(StringIO(sentence).readline)
print tokenize.untokenize(tokens)
Дополнительная справка:
Tokenize - Документы Python |
Потенциальная проблема
Я предлагаю сохранить смещения в токенизации: (токен, смещение). Я думаю, эта информация полезна для обработки исходного предложения.
import re
from nltk.tokenize import word_tokenize
def offset_tokenize(text):
tail = text
accum = 0
tokens = self.tokenize(text)
info_tokens = []
for tok in tokens:
scaped_tok = re.escape(tok)
m = re.search(scaped_tok, tail)
start, end = m.span()
# global offsets
gs = accum + start
ge = accum + end
accum += end
# keep searching in the rest
tail = tail[end:]
info_tokens.append((tok, (gs, ge)))
return info_token
sent = '''I've found a medicine for my disease.
This is line:3.'''
toks_offsets = offset_tokenize(sent)
for t in toks_offsets:
(tok, offset) = t
print (tok == sent[offset[0]:offset[1]]), tok, sent[offset[0]:offset[1]]
дает:
True I I
True 've 've
True found found
True a a
True medicine medicine
True for for
True my my
True disease disease
True . .
True This This
True is is
True line:3 line:3
True . .
Я использую следующий код без какой-либо основной функции библиотеки для цели дезактивации. Я использую деокенизацию для некоторых конкретных токенов
_SPLITTER_ = r"([-.,/:!?\";)(])"
def basic_detokenizer(sentence):
""" This is the basic detokenizer helps us to resolves the issues we created by our tokenizer"""
detokenize_sentence =[]
words = sentence.split(' ')
pos = 0
while( pos < len(words)):
if words[pos] in '-/.' and pos > 0 and pos < len(words) - 1:
left = detokenize_sentence.pop()
detokenize_sentence.append(left +''.join(words[pos:pos + 2]))
pos +=1
elif words[pos] in '[(' and pos < len(words) - 1:
detokenize_sentence.append(''.join(words[pos:pos + 2]))
pos +=1
elif words[pos] in ']).,:!?;' and pos > 0:
left = detokenize_sentence.pop()
detokenize_sentence.append(left + ''.join(words[pos:pos + 1]))
else:
detokenize_sentence.append(words[pos])
pos +=1
return ' '.join(detokenize_sentence)
Для меня это сработало, когда я установил python nltk 3.2.5,
pip install -U nltk
затем,
import nltk
nltk.download('perluniprops')
from nltk.tokenize.moses import MosesDetokenizer
Если вы используете insids pandas dataframe, тогда
df['detoken']=df['token_column'].apply(lambda x: detokenizer.detokenize(x, return_str=True))
Причина в том, что нет простого ответа, на самом деле вам нужны места расположения исходных токенов в строке. Если у вас этого нет, и вы не перепроектируете свою оригинальную токенизацию, ваша вновь собранная строка основывается на догадках о используемых правилах токенизации. Если ваш токенизатор не дал вам пробелов, вы все равно можете это сделать, если у вас есть три вещи:
1) Исходная строка
2) Оригинальные жетоны
3) Модифицированные токены (я предполагаю, что вы каким-то образом изменили токены, потому что это единственное приложение для этого, о котором я могу думать, если у вас уже есть # 1)
Используйте исходный набор токенов, чтобы идентифицировать пробелы (не было бы неплохо, если бы токенизатор сделал это?) И изменил строку назад, чтобы фронты не изменялись по мере того, как вы идете.
Здесь я использую TweetTokenizer, но это не имеет значения, пока используемый вами токенизатор не изменяет значения ваших токенов, чтобы они не находились в исходной строке.
tokenizer=nltk.tokenize.casual.TweetTokenizer()
string="One morning, when Gregor Samsa woke from troubled dreams, he found himself transformed in his bed into a horrible vermin."
tokens=tokenizer.tokenize(string)
replacement_tokens=list(tokens)
replacement_tokens[-3]="cute"
def detokenize(string,tokens,replacement_tokens):
spans=[]
cursor=0
for token in tokens:
while not string[cursor:cursor+len(token)]==token and cursor<len(string):
cursor+=1
if cursor==len(string):break
newcursor=cursor+len(token)
spans.append((cursor,newcursor))
cursor=newcursor
i=len(tokens)-1
for start,end in spans[::-1]:
string=string[:start]+replacement_tokens[i]+string[end:]
i-=1
return string
>>> detokenize(string,tokens,replacement_tokens)
'One morning, when Gregor Samsa woke from troubled dreams, he found himself transformed in his bed into a cute vermin.'
Используйте функцию join:
Вы можете просто сделать ' '.join(words), чтобы вернуть исходную строку.
Самый простой и интуитивно понятный способ. token_list также может быть списком списков.
s=[]
for i in token_list:
s.append(" ".join(i))