Ответ 1

Используйте set для создания последовательности уникальных элементов.

Сделайте некоторую очистку на df, чтобы получить строки в нижнем регистре и разделить:

df['text'].str.lower().str.split()
Out[43]: 
0             [my, nickname, is, ft.jgt]
1    [someone, is, going, to, my, place]

Каждый список в этом столбце может быть передан в функцию set.update для получения уникальных значений. Используйте apply, чтобы сделать это:

results = set()
df['text'].str.lower().str.split().apply(results.update)
print results

set(['someone', 'ft.jgt', 'my', 'is', 'to', 'going', 'place', 'nickname'])

Ответ 2

Используйте collections.Counter:

>>> from collections import Counter
>>> r1=['My nickname is ft.jgt','Someone is going to my place']
>>> Counter(" ".join(r1).split(" ")).items()
[('Someone', 1), ('ft.jgt', 1), ('My', 1), ('is', 2), ('to', 1), ('going', 1), ('place', 1), ('my', 1), ('nickname', 1)]

Ответ 3

Если вы хотите сделать это из конструкции DataFrame:

import pandas as pd

r1=['My nickname is ft.jgt','Someone is going to my place']

df=pd.DataFrame(r1,columns=['text'])

df.text.apply(lambda x: pd.value_counts(x.split(" "))).sum(axis = 0)

My          1
Someone     1
ft.jgt      1
going       1
is          2
my          1
nickname    1
place       1
to          1
dtype: float64

Если вы хотите использовать более гибкую токенизацию nltk и ее tokenize

Ответ 4

Основываясь на ответе @Ofir Israel, специфическом для Pandas:

from collections import Counter
result = Counter(" ".join(df['text'].values.tolist()).split(" ")).items()
result

Дает вам то, что вы хотите, это преобразует значения столбца текстового столбца в список, разбивается на пробелы и подсчитывает экземпляры.

Ответ 5

uniqueWords = list(set(" ".join(r1).lower().split(" ")))
count = len(uniqueWords)

Ответ 6

В документации v0.14.0 (стабильная версия подсказки в момент написания этой статьи) такая статистика будет возвращена (в другом фрейме данных) с помощью DataFrame.describe().

Обратите внимание, что количество уникальных значений не возвращается для столбцов с numeric datatypes, но должно быть возвращено для столбцов string, таких как тот, о котором идет речь.

Ответ 7

TL; DR

Дано:

$ cat test.csv 
Description
crazy mind california medical service data base...
california licensed producer recreational & medic...
silicon valley data clients live beyond status...
mycrazynotes inc. announces $144.6 million expans...
leading provider sustainable energy company prod ...
livefreecompany founded 2005, listed new york stock...

Код:

from collections import Counter
from string import punctuation

import pandas as pd

from nltk.corpus import stopwords
from nltk import word_tokenize

stoplist = set(stopwords.words('english') + list(punctuation))

df = pd.read_csv("test.csv", sep='\t')

texts = df['Description'].str.lower()

word_counts = Counter(word_tokenize('\n'.join(texts)))

word_count.most_common()

[из]:

[('...', 6), ('california', 2), ('data', 2), ('crazy', 1), ('mind', 1), ('medical', 1), ('service', 1), ('base', 1), ('licensed', 1), ('producer', 1), ('recreational', 1), ('&', 1), ('medic', 1), ('silicon', 1), ('valley', 1), ('clients', 1), ('live', 1), ('beyond', 1), ('status', 1), ('mycrazynotes', 1), ('inc.', 1), ('announces', 1), ('$', 1), ('144.6', 1), ('million', 1), ('expans', 1), ('leading', 1), ('provider', 1), ('sustainable', 1), ('energy', 1), ('company', 1), ('prod', 1), ('livefreecompany', 1), ('founded', 1), ('2005', 1), (',', 1), ('listed', 1), ('new', 1), ('york', 1), ('stock', 1)]

Ответ 8

Если в Dataframe есть столбцы "a", "b", "c" и т.д., А для подсчета отдельных слов каждого столбца вы можете использовать

Counter(dataframe['a']).items()