Ответ 1
Метод pos_tag
возвращает вам список пар (токенов, тегов):
tagged = [('the', 'DT'), ('dog', 'NN'), ('sees', 'VB'), ('the', 'DT'), ('cat', 'NN')]
Если вы используете Python 2.7 или новее, вы можете сделать это просто с помощью
>>> from collections import Counter
>>> counts = Counter(tag for word,tag in tagged)
>>> counts
Counter({'DT': 2, 'NN': 2, 'VB': 1})
Чтобы нормализовать подсчеты (давая вам долю каждого из них):
>>> total = sum(counts.values())
>>> dict((word, float(count)/total) for word,count in counts.items())
{'DT': 0.4, 'VB': 0.2, 'NN': 0.4}
Обратите внимание, что в более старых версиях Python вам нужно реализовать Counter
самостоятельно:
>>> from collections import defaultdict
>>> counts = defaultdict(int)
>>> for word, tag in tagged:
... counts[tag] += 1
>>> counts
defaultdict(<type 'int'>, {'DT': 2, 'VB': 1, 'NN': 2})