[python 데이터 전처리]파이선 특정 문자열 행 삭제

크롤링하면서, 데이터 전처리를 미리 크롤링하는 단계에서 해놓으면 전체적인 테이블을 생성하는데 큰 도움이 된다.

 

[<span>19년 10월식</span>,
 <span>18년 9월식(19년형)</span>,
 <span>13년 6월식(14년형)</span>,
 <span>17년 10월식(18년형)</span>,
 <span>20년 5월식</span>,
 <span>16년 4월식</span>,
 <span>18년 2월식</span>,
 <span>19년 6월식(20년형)</span>,
 <span>17년 11월식(18년형)</span>,
 <span>17년 8월식(18년형)</span>,
 <span>17년 10월식(18년형)</span>,
 <span>16년 3월식</span>,
 <span>15년 12월식(16년형)</span>,
 <span>17년 7월식(18년형)</span>,
 <span>17년 11월식(18년형)</span>,
 <span>15년 1월식</span>,
 <span>14년 2월식</span>,
 <span>16년 2월식</span>,
 <span>19년 12월식(20년형)</span>,
 <span>21년 4월식(22년형)</span>,
 <span>15년 9월식</span>,
 <span>20년 12월식(21년형)</span>,
 <span>19년 11월식</span>,
 <span>18년 1월식</span>,
 <span>16년 3월식</span>,

show more (open the raw output data in a text editor) ...

<span>18년 7월식(18년형)</span>, <span>초기납입금   192만원</span>, <span>19년 3월식(19년형)</span>, <span>초기납입금   396만원</span>, <span>20년 9월식(20년형)</span>, <span>초기납입금   396만원</span>]

 

다시말해, 나는 중고차 정보 데이터들을 얻는 과정 속에서, 자동차의 연식이라는 데이터의 경우에는 다음과 같이 정제되지 않은 상태로 나오고 있음을 확인하였다.

 

<span>16년 2월식</span>,
 <span>19년 12월식(20년형)</span>,
 <span>21년 4월식(22년형)</span>,
 <span>15년 9월식</span>,
 <span>20년 12월식(21년형)</span>,
 <span>19년 11월식</span>,
 <span>18년 1월식</span>,
 <span>16년 3월식</span>,
show more (open the raw output data in a text editor) ...

 <span>18년 7월식(18년형)</span>,
 <span>초기납입금   192만원</span>,
 <span>19년 3월식(19년형)</span>,
 <span>초기납입금   396만원</span>,
 <span>20년 9월식(20년형)</span>,
 <span>초기납입금   396만원</span>]

나는 연식 데이터가 필요하므로,

 

1) 첫번째 해야할 일

16년 2월식 -> 2016

19년 -> 2019

21년 -> 2021

 

2) 초기납입금 ~~만원 : 같은 행들은 제거해야한다

 

 

---

ㅋㅋ 이럴 경우에 정규식이나, pandas의 데이터프레임으로 만들어서, df[~df['years]] 이런 식으로 해결할 수 있지만, 사실상 select문을 다시 작성하는것이 횔씬 효율적이다.

 

soup.select('#kcarSearchList div.car_cont_box > div.car_desc > span:nth-child(1)')

결과

[<span>19년 10월식</span>,
 <span>18년 9월식(19년형)</span>,
 <span>13년 6월식(14년형)</span>,
 <span>17년 10월식(18년형)</span>,
 <span>20년 5월식</span>,
 <span>16년 4월식</span>,
 <span>18년 2월식</span>,
 <span>19년 6월식(20년형)</span>,
 <span>17년 11월식(18년형)</span>,
 <span>17년 8월식(18년형)</span>,
 <span>17년 10월식(18년형)</span>,
 <span>16년 3월식</span>,
 <span>15년 12월식(16년형)</span>,
 <span>17년 7월식(18년형)</span>,
 <span>17년 11월식(18년형)</span>]