팬더 고유 값 여러 열

팬더 고유 값 여러 열

---

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

'Col1'및 'Col2'의 고유 한 값을 반환하는 가장 좋은 방법은 무엇입니까?

원하는 출력은 다음과 같습니다.

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

---

pd.unique 입력 배열, DataFrame 열 또는 인덱스에서 고유 한 값을 반환합니다.

이 함수에 대한 입력은 1 차원이어야하므로 여러 열을 결합해야합니다. 가장 간단한 방법은 원하는 열을 선택한 다음 평면화 된 NumPy 배열에서 값을 보는 것입니다. 전체 작업은 다음과 같습니다.

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

참고 ravel()리턴하는 배열 방법을 다차원 어레이의 뷰 (가능한 경우)이다. 인수 'K'는 요소가 메모리에 저장된 순서대로 배열을 평면화하도록 메서드에 지시합니다 (Pandas는 일반적으로 기본 배열을 Fortran과 인접한 순서로 저장하고 행 앞의 열). 메서드의 기본 'C'순서를 사용하는 것보다 훨씬 빠를 수 있습니다.

---

다른 방법은 열을 선택하고 다음으로 전달하는 것입니다 np.unique.

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

ravel()메서드가 다차원 배열을 처리 하므로 여기서 사용할 필요가 없습니다 . 그럼에도 불구 pd.unique하고 고유 값을 식별하기 위해 해시 테이블이 아닌 정렬 기반 알고리즘을 사용하는 것보다 속도가 느릴 수 있습니다 .

속도 차이는 더 큰 DataFrame의 경우 중요합니다 (특히 고유 값이 소수 인 경우).

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

---

DataFrame열에 몇 가지 간단한 문자열로 a를 설정했습니다 .

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

관심있는 열을 연결하고 unique함수를 호출 할 수 있습니다 .

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

---

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

또는:

set(df.Col1) | set(df.Col2)

---

비 pandas솔루션 : set () 사용.

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

산출:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

---

numpy v1.13 +를 사용하는 업데이트 된 솔루션은 여러 열을 사용하는 경우 np.unique에 축을 지정해야합니다 . 그렇지 않으면 배열이 암시 적으로 평면화됩니다.

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

이 변경 사항은 2016 년 11 월에 도입되었습니다 : https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

---

팬더, 적용 및 람다 함수의 모든 것을 좋아하는 사람들을 위해 :

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

---

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

출력은 [ 'Mary', 'Joe', 'Steve', 'Bob', 'Bill']입니다.

---

here's another way

import numpy as np
set(np.concatenate(df.values))

---

np.unique(df.values.flatten())

참고URL : https://stackoverflow.com/questions/26977076/pandas-unique-values-multiple-columns