[Python] Pandas - 데이터 추출 및 필터링

In [2]:

import os
import numpy as np
import pandas as pd

In [3]:

os.getcwd() #현재 디렉토리 확인

Out[3]:

'/Users/limjongjun/Desktop/JayJay/Growth/Python/Class101_Pandas'

In [5]:

df1 = pd.read_csv('01_Contract_Data.csv') 

In [17]:

# 행단위 추출
df1.head() # 상위 N개(default = 5) 데이터 추출

Out[17]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
0	1	66758234	렌탈	일반계약	영업방판	2019-05-06	60	CMS	DES-1	96900	개인	42.0	경기도	경기도	계약확정	0	없음	여자	9.0	새마을금고
1	2	66755948	렌탈	교체계약	영업방판	2020-02-20	60	카드이체	DES-1	102900	개인	39.0	경기도	경기도	계약확정	0	없음	남자	2.0	현대카드
2	3	66756657	렌탈	일반계약	홈쇼핑/방송	2019-02-28	60	CMS	DES-1	96900	개인	48.0	경기도	경기도	계약확정	0	없음	여자	8.0	우리은행
3	4	66423450	멤버십	멤버십3유형	재계약	2019-05-13	12	CMS	DES-1	66900	개인	39.0	경기도	경기도	계약확정	0	없음	남자	5.0	농협회원조합
4	5	66423204	멤버십	멤버십3유형	재계약	2019-05-10	12	CMS	DES-1	66900	개인	60.0	경기도	경기도	기간만료	12	있음	남자	8.0	농협회원조합

In [6]:

df1.tail(3) # 하위 N개(defualt = 5) 데이터 추출

Out[6]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
51298	51300	66799197	렌탈	프로모션계약	영업방판	2019-04-01	39	카드이체	ERA	120900	개인	65.0	서울특별시	서울특별시	계약확정	0	없음	여자	1.0	롯데카드
51299	51301	66792778	렌탈	일반계약	홈쇼핑/방송	2020-02-06	60	카드이체	DES-1	96900	개인	54.0	서울특별시	서울특별시	계약확정	0	없음	여자	2.0	롯데카드
51300	51302	66799607	렌탈	일반계약	홈쇼핑/방송	2019-04-24	60	CMS	DES-1	96900	개인	53.0	서울특별시	서울특별시	계약확정	0	없음	여자	8.0	신한은행

In [19]:

#iloc : index location
df1.iloc[100:200]  # 100번째부터 200번째 전 데이터까지, 100개 데이터 추출

Out[19]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
100	101	66758264	렌탈	패키지계약	홈쇼핑/방송	2019-01-01	60	CMS	DES-1	81900	개인	38.0	전라도	광주광역시	계약확정	0	없음	남자	2.0	광주은행
101	102	66758264	렌탈	패키지계약	홈쇼핑/방송	2019-02-09	60	CMS	DES-2	81900	개인	38.0	전라도	광주광역시	계약확정	0	없음	남자	2.0	광주은행
102	103	66758918	렌탈	일반계약	전문매장H	2019-01-31	60	CMS	DES-1	96900	개인	36.0	전라도	광주광역시	계약확정	0	없음	여자	1.0	국민은행
103	104	66437196	렌탈	프로모션계약	영업방판	2019-01-31	60	CMS	DES-3A	90900	개인	44.0	전라도	광주광역시	계약확정	0	없음	여자	2.0	농협회원조합
104	105	66420849	렌탈	프로모션계약	영업방판	2019-02-21	60	CMS	DES-2	90900	개인	50.0	전라도	광주광역시	계약확정	0	없음	남자	3.0	외환은행
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
195	196	66758799	렌탈	패키지계약	홈쇼핑/방송	2019-02-19	60	카드이체	DES-2	81900	개인	49.0	경상도	부산광역시	계약확정	0	없음	남자	1.0	롯데카드
196	197	66331658	렌탈	교체계약	영업방판	2019-02-19	60	CMS	DES-1	102900	개인	52.0	경상도	부산광역시	계약확정	0	없음	남자	NaN	농협중앙회
197	198	66758349	렌탈	일반계약	영업방판	2019-12-17	60	CMS	DES-1	96900	개인	64.0	경상도	부산광역시	계약확정	0	없음	여자	2.0	국민은행
198	199	66464668	렌탈	일반계약	영업방판	2020-06-23	60	CMS	DES-2	87900	개인	63.0	경상도	울산광역시	계약확정	0	없음	여자	1.0	농협중앙회
199	200	66635455	렌탈	프로모션계약	영업방판	2019-01-01	60	CMS	DES-3A	90900	개인	39.0	경상도	대구광역시	계약확정	0	없음	여자	NaN	농협회원조합

100 rows × 20 columns

In [20]:

df1.iloc[:5] #head랑 같은 결과 

Out[20]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
0	1	66758234	렌탈	일반계약	영업방판	2019-05-06	60	CMS	DES-1	96900	개인	42.0	경기도	경기도	계약확정	0	없음	여자	9.0	새마을금고
1	2	66755948	렌탈	교체계약	영업방판	2020-02-20	60	카드이체	DES-1	102900	개인	39.0	경기도	경기도	계약확정	0	없음	남자	2.0	현대카드
2	3	66756657	렌탈	일반계약	홈쇼핑/방송	2019-02-28	60	CMS	DES-1	96900	개인	48.0	경기도	경기도	계약확정	0	없음	여자	8.0	우리은행
3	4	66423450	멤버십	멤버십3유형	재계약	2019-05-13	12	CMS	DES-1	66900	개인	39.0	경기도	경기도	계약확정	0	없음	남자	5.0	농협회원조합
4	5	66423204	멤버십	멤버십3유형	재계약	2019-05-10	12	CMS	DES-1	66900	개인	60.0	경기도	경기도	기간만료	12	있음	남자	8.0	농협회원조합

In [21]:

# 열 단위 데이터 추출
df1['Age'] #Series 형태로 추출

Out[21]:

0        42.0
1        39.0
2        48.0
3        39.0
4        60.0
         ... 
51296    47.0
51297    42.0
51298    65.0
51299    54.0
51300    53.0
Name: Age, Length: 51301, dtype: float64

In [22]:

df1[['Age']] #Dataframe 형태로 추출

Out[22]:

	Age
0	42.0
1	39.0
2	48.0
3	39.0
4	60.0
...	...
51296	47.0
51297	42.0
51298	65.0
51299	54.0
51300	53.0

51301 rows × 1 columns

In [23]:

# Series 형태는 index - Value (순서-값) 데이터가 구성되므로 아래와 같이 적으면 에러 발생 
df1['Age','Amount_Month']

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
File ~/opt/anaconda3/envs/class101/lib/python3.8/site-packages/pandas/core/indexes/base.py:3652, in Index.get_loc(self, key)
   3651 try:
-> 3652     return self._engine.get_loc(casted_key)
   3653 except KeyError as err:

File ~/opt/anaconda3/envs/class101/lib/python3.8/site-packages/pandas/_libs/index.pyx:147, in pandas._libs.index.IndexEngine.get_loc()

File ~/opt/anaconda3/envs/class101/lib/python3.8/site-packages/pandas/_libs/index.pyx:176, in pandas._libs.index.IndexEngine.get_loc()

File pandas/_libs/hashtable_class_helper.pxi:7080, in pandas._libs.hashtable.PyObjectHashTable.get_item()

File pandas/_libs/hashtable_class_helper.pxi:7088, in pandas._libs.hashtable.PyObjectHashTable.get_item()

KeyError: ('Age', 'Amount_Month')

The above exception was the direct cause of the following exception:

KeyError                                  Traceback (most recent call last)
/Users/limjongjun/Desktop/JayJay/Growth/Python/Class101_Pandas/Pandas_Exercise.ipynb 셀 28 line 2
      <a href='vscode-notebook-cell:/Users/limjongjun/Desktop/JayJay/Growth/Python/Class101_Pandas/Pandas_Exercise.ipynb#X36sZmlsZQ%3D%3D?line=0'>1</a> # Series 형태는 index - Value (순서-값) 데이터가 구성되므로 아래와 같이 적으면 에러 발생 
----> <a href='vscode-notebook-cell:/Users/limjongjun/Desktop/JayJay/Growth/Python/Class101_Pandas/Pandas_Exercise.ipynb#X36sZmlsZQ%3D%3D?line=1'>2</a> df1['Age','Amount_Month']

File ~/opt/anaconda3/envs/class101/lib/python3.8/site-packages/pandas/core/frame.py:3761, in DataFrame.__getitem__(self, key)
   3759 if self.columns.nlevels > 1:
   3760     return self._getitem_multilevel(key)
-> 3761 indexer = self.columns.get_loc(key)
   3762 if is_integer(indexer):
   3763     indexer = [indexer]

File ~/opt/anaconda3/envs/class101/lib/python3.8/site-packages/pandas/core/indexes/base.py:3654, in Index.get_loc(self, key)
   3652     return self._engine.get_loc(casted_key)
   3653 except KeyError as err:
-> 3654     raise KeyError(key) from err
   3655 except TypeError:
   3656     # If we have a listlike key, _check_indexing_error will raise
   3657     #  InvalidIndexError. Otherwise we fall through and re-raise
   3658     #  the TypeError.
   3659     self._check_indexing_error(key)

KeyError: ('Age', 'Amount_Month')

In [ ]:

# 2개 이상의 Column을 추출할 땐, Dataframe 형태로 추출 해야한다.
df1[['Age','Amount_Month']]

Out[ ]:

	Age	Amount_Month
0	42.0	96900
1	39.0	102900
2	48.0	96900
3	39.0	66900
4	60.0	66900
...	...	...
51296	47.0	96900
51297	42.0	96900
51298	65.0	120900
51299	54.0	96900
51300	53.0	96900

51301 rows × 2 columns

조건부 추출¶

In [7]:

df1['Contract_Type'].value_counts()

Out[7]:

Contract_Type
프로모션계약    15811
일반계약      15321
패키지계약     10186
교체계약       4975
멤버십3유형     2627
멤버십2유형     2086
단체계약        190
멤버십4유형       92
멤버십1유형       13
Name: count, dtype: int64

In [9]:

#Contract_Type = '교체계약'
condition1 = df1['Contract_Type'] == '교체계약' # = 는 선언문, 조건문은 ==
df1.loc[condition1] #loc : location

Out[9]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
1	2	66755948	렌탈	교체계약	영업방판	2020-02-20	60	카드이체	DES-1	102900	개인	39.0	경기도	경기도	계약확정	0	없음	남자	2.0	현대카드
29	30	66419239	렌탈	교체계약	영업방판	2019-04-08	60	CMS	DES-1	96900	개인	38.0	경기도	경기도	계약확정	0	없음	여자	NaN	국민은행
44	45	66211709	렌탈	교체계약	영업방판	2019-12-19	60	CMS	DES-1	96900	개인	65.0	서울특별시	서울특별시	계약확정	0	없음	남자	4.0	농협회원조합
45	46	66135112	렌탈	교체계약	영업방판	2019-06-20	60	CMS	DES-1	96900	개인	51.0	서울특별시	서울특별시	계약확정	0	없음	여자	1.0	신한은행
55	56	25856039	렌탈	교체계약	영업방판	2019-05-01	60	CMS	DES-1	96900	사업자	NaN	경상도	부산광역시	계약확정	0	없음	여자	NaN	농협중앙회
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
51232	51234	66231054	렌탈	교체계약	영업방판	2019-03-07	60	CMS	DES-1	96900	개인	40.0	경상도	울산광역시	계약확정	0	없음	남자	1.0	경남은행
51273	51275	66814025	렌탈	교체계약	대형마트A	2019-10-23	60	CMS	DES-1	96900	개인	39.0	충청도	대전광역시	계약확정	0	없음	여자	1.0	신한은행
51283	51285	66387839	렌탈	교체계약	대형마트A	2019-07-31	60	CMS	DES-1	96900	개인	49.0	경상도	부산광역시	계약확정	0	없음	여자	NaN	하나은행
51287	51289	66444051	렌탈	교체계약	대형마트A	2019-09-29	60	CMS	DES-1	102900	개인	90.0	서울특별시	서울특별시	계약확정	0	없음	남자	NaN	신한은행
51289	51291	66441028	렌탈	교체계약	대형마트A	2020-01-16	60	CMS	DES-2	78900	개인	56.0	경기도	경기도	계약확정	0	없음	남자	1.0	롯데카드

4975 rows × 20 columns

In [10]:

#Amount_Month 150000 이상인 데이터만 필터링
condition2 = df1['Amount_Month'] >= 150000
df1.loc[condition2] #두줄 Code

Out[10]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
205	206	25777820	렌탈	프로모션계약	직영유통사	2019-03-25	36	가상계좌	DES-1	180750	사업자	NaN	경기도	경기도	계약확정	1	있음	여자	NaN	NaN
206	207	25777820	렌탈	프로모션계약	직영유통사	2019-03-25	36	가상계좌	DES-1	180750	사업자	NaN	경기도	경기도	계약확정	1	있음	여자	NaN	NaN
207	208	25777820	렌탈	프로모션계약	직영유통사	2019-01-05	36	가상계좌	DES-1	180750	사업자	NaN	경기도	경기도	계약확정	1	있음	여자	NaN	NaN
233	234	66758193	렌탈	프로모션계약	영업방판	2019-05-08	39	카드이체	MMC	185700	개인	54.0	충청도	충청도	계약확정	0	없음	남자	6.0	롯데카드
328	329	25742694	렌탈	프로모션계약	대형마트E	2020-03-06	39	CMS	MMC	185700	사업자	NaN	경기도	인천광역시	계약확정	0	없음	여자	NaN	기업은행
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
50381	50383	66798387	렌탈	프로모션계약	영업방판	2019-02-24	39	카드이체	MMC	185700	개인	37.0	경기도	경기도	계약확정	0	없음	남자	3.0	롯데카드
50464	50466	66758303	렌탈	프로모션계약	대형마트A	2019-04-03	39	CMS	MMC	185700	개인	53.0	서울특별시	서울특별시	계약확정	0	없음	남자	1.0	국민은행
50752	50754	66798515	렌탈	프로모션계약	영업방판	2019-02-28	39	CMS	MMC	185700	개인	37.0	서울특별시	서울특별시	계약확정	8	있음	남자	6.0	농협회원조합
50951	50953	25736066	렌탈	프로모션계약	영업방판	2020-07-24	39	CMS	MMC	185700	사업자	NaN	서울특별시	서울특별시	계약확정	8	있음	여자	NaN	신한은행
51187	51189	66799273	렌탈	프로모션계약	전단홍보	2019-06-09	39	CMS	MMC	185700	개인	58.0	전라도	광주광역시	계약확정	0	없음	남자	NaN	농협중앙회

141 rows × 20 columns

In [11]:

df1.loc[(df1['Amount_Month'] >= 150000)] #한줄 Code

Out[11]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
205	206	25777820	렌탈	프로모션계약	직영유통사	2019-03-25	36	가상계좌	DES-1	180750	사업자	NaN	경기도	경기도	계약확정	1	있음	여자	NaN	NaN
206	207	25777820	렌탈	프로모션계약	직영유통사	2019-03-25	36	가상계좌	DES-1	180750	사업자	NaN	경기도	경기도	계약확정	1	있음	여자	NaN	NaN
207	208	25777820	렌탈	프로모션계약	직영유통사	2019-01-05	36	가상계좌	DES-1	180750	사업자	NaN	경기도	경기도	계약확정	1	있음	여자	NaN	NaN
233	234	66758193	렌탈	프로모션계약	영업방판	2019-05-08	39	카드이체	MMC	185700	개인	54.0	충청도	충청도	계약확정	0	없음	남자	6.0	롯데카드
328	329	25742694	렌탈	프로모션계약	대형마트E	2020-03-06	39	CMS	MMC	185700	사업자	NaN	경기도	인천광역시	계약확정	0	없음	여자	NaN	기업은행
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
50381	50383	66798387	렌탈	프로모션계약	영업방판	2019-02-24	39	카드이체	MMC	185700	개인	37.0	경기도	경기도	계약확정	0	없음	남자	3.0	롯데카드
50464	50466	66758303	렌탈	프로모션계약	대형마트A	2019-04-03	39	CMS	MMC	185700	개인	53.0	서울특별시	서울특별시	계약확정	0	없음	남자	1.0	국민은행
50752	50754	66798515	렌탈	프로모션계약	영업방판	2019-02-28	39	CMS	MMC	185700	개인	37.0	서울특별시	서울특별시	계약확정	8	있음	남자	6.0	농협회원조합
50951	50953	25736066	렌탈	프로모션계약	영업방판	2020-07-24	39	CMS	MMC	185700	사업자	NaN	서울특별시	서울특별시	계약확정	8	있음	여자	NaN	신한은행
51187	51189	66799273	렌탈	프로모션계약	전단홍보	2019-06-09	39	CMS	MMC	185700	개인	58.0	전라도	광주광역시	계약확정	0	없음	남자	NaN	농협중앙회

141 rows × 20 columns

In [12]:

# Address1이 경기도 이면서 Amount_Month가 150000 이상 -> Amount_Month로 내림차순 -> 상위 10건
condition3 = (df1['Address1'] == '경기도')

df1.loc[condition3&condition2].sort_values(by = 'Amount_Month', ascending = False).head(10)

Out[12]:

	Index	Member_ID	Sales_Type	Contract_Type	Channel	Datetime	Term	Payment_Type	Product_Type	Amount_Month	Customer_Type	Age	Address1	Address2	State	Overdue_count	Overdue_Type	Gender	Credit_Rank	Bank
37522	37524	25733781	렌탈	프로모션계약	영업방판	2020-07-02	39	CMS	MMC	215700	사업자	NaN	경기도	경기도	계약확정	0	없음	여자	NaN	기업은행
49897	49899	25731710	렌탈	프로모션계약	영업방판	2019-12-06	39	가상계좌	MMC	215700	사업자	NaN	경기도	경기도	계약확정	0	없음	여자	NaN	NaN
49896	49898	25731710	렌탈	프로모션계약	영업방판	2019-09-30	39	가상계좌	MMC	215700	사업자	NaN	경기도	경기도	계약확정	0	없음	여자	NaN	NaN
5399	5400	25742182	렌탈	프로모션계약	영업방판	2019-05-18	39	CMS	MMC	215700	사업자	NaN	경기도	경기도	계약확정	1	있음	여자	NaN	신한은행
19412	19414	25710321	렌탈	프로모션계약	영업방판	2019-09-15	39	CMS	MMC	215700	사업자	NaN	경기도	경기도	계약확정	0	없음	여자	NaN	기업은행
19413	19415	25710320	렌탈	프로모션계약	영업방판	2020-01-29	39	CMS	MMC	215700	사업자	NaN	경기도	경기도	계약확정	0	없음	여자	NaN	기업은행
43906	43908	66793157	렌탈	프로모션계약	영업방판	2019-04-29	39	CMS	MMC	185700	개인	48.0	경기도	경기도	계약확정	12	있음	남자	6.0	농협중앙회
38730	38732	66789152	렌탈	프로모션계약	영업방판	2019-03-29	39	CMS	MMC	185700	개인	44.0	경기도	경기도	계약확정	0	없음	남자	1.0	신한은행
39681	39683	25733821	렌탈	일반계약	대형마트A	2020-03-25	39	CMS	MMC	185700	사업자	NaN	경기도	인천광역시	계약확정	12	있음	여자	NaN	기업은행
41072	41074	66791218	렌탈	프로모션계약	영업방판	2019-03-22	39	CMS	MMC	185700	개인	51.0	경기도	경기도	계약확정	0	없음	남자	4.0	외환은행