Ответ 1
Ну, у меня была такая же проблема, и что я сделал, был разбит текст в '\n'. Что-то вроде этого:
# in my case, when it had '\n', I called it a new paragraph,
# like a collection of sentences
paragraphs = [p for p in text.split('\n') if p]
# and here, sent_tokenize each one of the paragraphs
for paragraph in paragraphs:
sentences = tokenizer.tokenize(paragraph)
Это упрощенная версия того, что я имел в производстве, но общая идея такая же. И, извините за комментарии и докшрин на португальском языке, это было сделано в "образовательных целях" для бразильской аудитории
def paragraphs(self):
if self._paragraphs is not None:
for p in self._paragraphs:
yield p
else:
raw_paras = self.raw_text.split(self.paragraph_delimiter)
gen = (Paragraph(self, p) for p in raw_paras if p)
self._paragraphs = []
for p in gen:
self._paragraphs.append(p)
yield p