python 크롤러 멀티스레드

python 크롤러를 개발하면서,

 

멀티스레드와 멀티프로세스를 동시에 사용해 성능 개선을 해본 과정을 정리해봤다.

사실상 크롤러에 있어서 멀티스레드를 이용하려면, 각 스레드에 따라서 해당 작업들을 잘 나눠줘야하는데,

각각 최대한 기능별로 모듈을 만들어 놓아도, 쉽지는 않았다.

 

그래서 대략적인 개념과 이해정도로 포스팅을 진행하려고 한다.

 

크롤러 같은 경우 보통 데이터를 네트워크로부터 다운로드하는 부분에서 병목 현상이 빈번하게 발생한다. 이떄 성능이 많이 떨어진다. 이를 본인 컴퓨터의 CPU의 멀티스레드와 멀티프로세스를 활용해 성능을 향상시켜보자.

 

마치, 물을 마시기 위해 입을 조금씩 벌리고 있다가, 내가 입을 크게, 나랑 똑같은 사람이 여러명이서 같이 물을 마시는 것이 멀티스레드를 한다라는 것을 이해하는데 도움이 될 것 같다.

크롤러와 멀티스레드

스레드는 한 개의 프로세스가 분주히 움직일 수 있게 해준다.

https://keyhyuk-kim.medium.com/python-%ED%81%AC%EB%A1%A4%EB%9F%AC-%EB%A9%80%ED%8B%B0%ED%94%84%EB%A1%9C%EC%84%B8%EC%8A%A4-%EB%A9%80%ED%8B%B0%EC%8A%A4%EB%A0%88%EB%93%9C%EB%A1%9C-%EC%84%B1%EB%8A%A5-%EC%A5%90%EC%96%B4%EC%A7%9C%EA%B8%B0-a7712bcbaa4

여러 페이지를 크롤러를 통해 파싱한다고 가정해보자.

네이버, 다음, 네이트가 존재한다.

 

크롤러는 순차적으로 실행되어, 네이버 페이지를 전부 다운로드할 때까지 다른 작업을 하지 못한다. 이는 큰 단점이다. 왜냐하면, 동시에 진행하면 그만큼 하나의 cpu를 가장 효율적으로 사용하는 것이기 떄문이다.

 

 

멀티스레드를 사용하면 네이버 페이지를 다운로드 받는동안, daum이나 nate 페이지 다운로드 요청을 수행할 수도 있고, 이미 다운로드가 완료된 페이지를 처리할 수도 있다.

즉 스레드를 이용하면 효율적으로 크롤러를 동작하게 할 수 있다.

멀티스레드를 적용한 크롤러와 적용하지 않은 크롤러의 성능을 비교해보면 큰 성능차이가 있음을 알 수 있다.

 

하지만, 엄청나게 많은 대량의 데이터를 뽑아오는게 아닌 이상, 단일 cpu도 충분히 빠르고, 코드가 다이어트될 수 있다. 쓰면 좋지만, 안써도 나쁘지 않다는 점.

 

그래도 한번 써보는 것을 연습해보자.

 

https://keyhyuk-kim.medium.com/python-%ED%81%AC%EB%A1%A4%EB%9F%AC-%EB%A9%80%ED%8B%B0%ED%94%84%EB%A1%9C%EC%84%B8%EC%8A%A4-%EB%A9%80%ED%8B%B0%EC%8A%A4%EB%A0%88%EB%93%9C%EB%A1%9C-%EC%84%B1%EB%8A%A5-%EC%A5%90%EC%96%B4%EC%A7%9C%EA%B8%B0-a7712bcbaa4

Python 크롤러 멀티프로세스 멀티스레드로 성능 쥐어짜기