[python] 크롤링에 필요한 함수 : filter, lambda, map

데이터프레임을 만들경우, 행의 수가 서로 맞아야 원하는 구조를 만들 수 있다.

 

하지만, 은근히 파싱하다보면, 공백이 있어서, 리스트의 길이가 내가 예상한 숫자인 30이 아닌 60이 계속 나왔는데,

 

이럴때 가장 많이 사용하는 것이 바로  filter 라는 함수가 있다.

 

기본 내장 함수여서 바로 사용이 가능하는 큰 장점이 있다.

 

참고로 lambda 와 map도 바로 사용이 가능하다

 

 

---

filter

['', '기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '', '현대 더 뉴 그랜저 3.0 LPi 렌터카 프리미엄',
'', '기아 K5 3세대 1.6 가솔린 시그니처', '', '기아 The SUV 스포티지 2.0 가솔린 2WD 노블레스', 
'', '기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '', '현대 더 뉴 그랜저 2.5 가솔린 프리미엄', '',
'현대 그랜저 IG 2.4 프리미엄', '', '기아 K5 2세대 2.0 LPi MX 럭셔리(렌터카)', '', 
'기아 올 뉴 모닝 럭셔리', '', '현대 그랜저 IG 2.4 모던', '', 
'기아 쏘렌토 더 마스터 2.0 디젤 2WD 노블레스 5인승', '', '기아 더 K9 3.3 가솔린 터보 마스터즈 Ⅱ AWD',
'', '벤츠 E클래스(W213) E220d아방가르드', '', '제네시스 G80(1세대) 3.3GDI 럭셔리', '',
'쉐보레/대우 콜로라도 3.6가솔린 익스트림-X', '', '기아 더뉴카니발 9인승 럭셔리', '', 
'기아 레이 디럭스 스페셜', '', '제네시스 더 뉴 G70 2.0 가솔린 터보 AWD', '',
'기아 스포티지 더 볼드 Smartstream D 1.6 디젤 2WD 트렌디 A/T', '', '기아 더 뉴 쏘렌토 2.0 디젤 2WD 노블레스 5인승', 
'', '현대 더 뉴 그랜저 2.5 가솔린 프리미엄 초이스', '', '기아 더 뉴 쏘렌토 2.2 디젤 4WD 노블레스 스페셜 5인승', '', 
'현대 싼타페TM 2.0 디젤 2WD 프리미엄 5인승', '', '현대 그랜저 IG HEV 익스클루시브', '', 
'현대 싼타페 더 프라임 2.0 2WD 프리미엄', '', '현대 더 뉴 그랜저 2.5 가솔린 프리미엄', '', 
'기아 레이 디럭스', '', '현대 그랜저 IG 2.4 모던', 
'', '기아 올 뉴 쏘렌토 2WD 2.0 노블레스 스페셜 5인승', '', '현대 올 뉴 투싼 1.7 디젤 스마트']

 

 

위 코드는 다나와 중고차 사이트에서 파싱한 결과인데, 원하는 길이가 30인데, 다음과 같이 60개가 나왔다.

 

중간에 공백을 제거해줘야 하는데 이떄 쓰는 것이 바로, filter 이다

 

 

['기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '현대 더 뉴 그랜저 3.0 LPi 렌터카 프리미엄', 
'기아 K5 3세대 1.6 가솔린 시그니처', '기아 The SUV 스포티지 2.0 가솔린 2WD 노블레스', 
'기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '현대 더 뉴 그랜저 2.5 가솔린 프리미엄',...

 

자동차 이름을 구하는 함수이다

 

# 함수 1 : 자동차 이름
def car_def(soup):
    cars = []
    cars_list = soup.find('div','result_list').find('ul')
    car_list = cars_list.select('a')
    
    for car in car_list:
        cars.append(car.text.strip())
    
    #공백 제거
    print(cars)
    cars = list(filter(None, cars))
    print('자동차 이름 계산 끝')
    print(cars)
    
    return cars

 

---

lambda

-lambda는 쓰고 버리는 일시적인 함수, 일회성이 강함

-함수가 생성된 곳에서만 필요

-간단한 기능을 일반적인 함수와 같이 정의해두고 쓰는 것이 아니고,필요한 곳에서 즉시 사용하고 버리는 용으로 사용
-다양하게 사용이 됨

 

lambda 인자(들) : 표현식

 

첫번쨰

x = [1,2,3]
y = [1,2,3]

list(map(lambda x,y : x * y, x,y))

 

 

2번쨰처럼 , 함수를 정해서 사용할 수 있는 것을, 람다를 사용하면,

2번쨰

def sq3(n):
    return n*n*n

sq3(2)

sq3 =lambda x:x*x*x
sq3(2)

 

---

 

map

- list를 인자로 받고, 이 아이템들을 다른 값으로 변경해주는 함수

- lambda와 함께 사용할 수 있습니다.

- map()의 첫번째 인자로 Lambda를 전달하고, 두번째 인자에 리스트를 전달

- 각 아이템에 대해서 lambda 함수를 호출하고 그 결과 값들을 리턴