Python pandas Фильтрация nan от выбора данных столбца строк

Без использования groupby как бы я отфильтровать данные без NaN?

Допустим, у меня есть матрица, в которой клиенты будут заполнять 'N/A', 'N/A' или любой из его вариантов, а другие оставляют это поле пустым:

import pandas as pd
import numpy as np


df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

выход:

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

Как бы я отфильтровал значения NaN, чтобы получить результаты для работы следующим образом:

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

Я предполагаю, что мне нужно что-то вроде ~np.isnan но тильда не работает со строками.

Ответы

Ответ 1

Просто бросьте их:

nms.dropna(thresh=2)

это отбросит все строки, где есть по крайней мере два non- NaN.

Затем вы можете оставить там, где имя NaN:

In [87]:

nms
Out[87]:
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

[5 rows x 3 columns]
In [89]:

nms = nms.dropna(thresh=2)
In [90]:

nms[nms.name.notnull()]
Out[90]:
  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

[2 rows x 3 columns]

РЕДАКТИРОВАТЬ

На самом деле, глядя на то, что вы изначально хотели, вы можете сделать это без вызова dropna:

nms[nms.name.notnull()]

ОБНОВИТЬ

Глядя на этот вопрос спустя 3 года, возникает ошибка, во-первых, thresh arg ищет как минимум n значений non- NaN поэтому на самом деле результат должен быть:

In [4]:
nms.dropna(thresh=2)

Out[4]:
  movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

Вполне возможно, что я либо ошибся 3 года назад, либо в версии панд, на которой я работал, была ошибка, оба сценария вполне возможны.

Ответ 2

Самый простой из всех решений:

filtered_df = df[df['name'].notnull()]

Таким образом, он отфильтровывает только строки, которые не имеют значений NaN в столбце "name".

Ответ 3

df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})

for col in df.columns:
    df = df[~pd.isnull(df[col])]

Ответ 4

df.dropna(subset=['columnName1', 'columnName2'])