[python] Yotube crawling , 자동 크롤러 개발

검색어를 입력하면 해당 영상을 조회수순으로 필터를 적용하여,

전세계 영상을 높은것부터 차례대로 약 400~600개 정도의 영상들을 각각

사이트 주소 정보를 따로 테이블을 만들어 저장하고, (DB 1단계 - 정규화)

 

그리고 각 사이트 마다의 해당 영상의 댓글에 대한 정보를 인기순으로 나열하여,

선호도가 높은 댓글 순서 위주로, 나중에 데이터 전처리가 편하게 나열하여 테이블을 구상하였다.

 

(DB 2단계- 반정규화)

 

여기서 살짝 고민되는게, 1차로 DB 설계시, 해당 영상의 랭킹 순서와 url 순서만 가지고 왔었다. 

url 도 고유성을 갖기 때문에 인덱스로서 사용할 수는 있지만, 애초에 차라리 고유의 인덱스번호를 순차적으로 주어서

 

 

차량 모델 및 키워드 관련 댓글 데이터 70 개 * 600 개 사이트 * 1000개 (Maximum 으로 계산) = 4200만개

 

상당히 많은데, 사실 이게 전부는 아니고, 일부 데이터이다.

 

네이버 카페 데이터, 다른 여초 커뮤니티 데이터, 중고차 데이터, 전략 기획 보고서 데이터 등등

 

---

댓글 데이터

크롤링 해야할 데이터 목록

사이트 리스트

 

유튜브 검색 키워드- 각 파일에 해당 영상 url 약 400~600개 정도 포함

 

소규모 계획 : 대규모 데이터 관련 처리 달성중!