분류 전체보기

jupyter_notebook_config.json error 에러 원인 및 해결 방법

주피터 노트북에서 json 파일 관련 에러가 뜨는 경우 주피터 노트북에서, 평소 파이선과 vscode에서 실행했던 ipynb 형태의 파일을 열려고 하니깐 다음과 같은 에러가 발생했다 The error was: SyntaxError: Unexpected end of JSON input Cannot upload invalid Notebook 그러면 이러한 경우에는 vscode 에서 build : ctrl + shift + b 로 들어가서 설정을 변경해줘야한다. { // See https://go.microsoft.com/fwlink/?LinkId=733558 // for the documentation about the tasks.json format "version": "2.0.0", "tasks": [ ..

크롤링 셀레늄 기능들 - 크롤러 기본 사용법

Selenium Intro 브라우저를 컨트롤을 가능하게 해줌 Python 같은 경우, 3.5 이상부터 지원되며 3.6 이상 버전 부터 pip 로 표준 라이브러리로 사용할 수 있음 사용 가능한 브라우저는 하단에 리스트업 설치 코드 pip install selenium Driver 다운로드 링크 , 크롬,엣지,파이어폭스, 사파리 Chrome https://sites.google.com/a/chromium.org/chromedriver/downloads Edge https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/ Firefox https://github.com/mozilla/geckodriver/releases Safari https:/..

유튜브 댓글 크롤링 에러

댓글이 정말 많거나, 없는 경우 모두를 고려해야함 스크롤바가 최하단까지 내려가는 코드는 댓글이 읽혀지질 않음 처음에는 드라이버 문제이거니 했는데, 드라이버 같은 경우도 동일한 것으로 맞춰줬고, 이제는 차라리 정확히 사람처럼, 클릭해서 댓글수를 보고 그거에 맞는 양만큼만 스크롤바를 내리게끔하고, 댓글수의 상한치는 2000개 정도로 정해놓으면 어떨까 싶다. 하... 갈길이 멀다 스크롤 내리는 것도 시간이 너무 오래걸리고, 전체 댓글 수와 댓글을 저장한 리시트의 길이를 비교해야하나 싶기도 하고, 시간적인 면과 기술적인 면에서 고민이 많은 하루네.

Only the following pseudo-classes are implemented: nth-of-type. 에러(error)

구글에서 크롬을 돌리면, 이런 에러가 발생하는데 구글 크롬 개발자도구에서 무작정 css selector copy를 실행해서 나오는 child 선택자인 nth-child 는 인식이 안된다고.... : 표시가 아닌, - 표시로 바꿔준다 콜론을 버리고 nth-of-type 으로 전부 붙여서 작성한다 nth of type tr:nth ->nth-of-type 으로 바꿔준다. 기존의 코드 comments = soup.select('#count > yt-formatted-string > span:nth-chile(2)') 변경한 코드 # 댓글 수 , 스크롤바를 내려야 보임 comments = soup.select('#count > yt-formatted-string > span:nth-of-type(2)') com..

유튜브 사이트 크롤링(링크, href)

핵심 : select 로 정보를 가져올 때, 요소 값은 리스트로 반환이됨!! 유튜브 href 사이트 링크 크롤링 하기 요소의 속성 가져오기 셀레늄 이용 drver.find_element_by_xpath 에서 url1 = driver.find_element_by_xpath('/html/body/ytd-app/div/ytd-page-manager/ytd-search/div[1]/ytd-two-column-search-results-renderer/div/ytd-section-list-renderer/div[2]/ytd-item-section-renderer[1]/div[3]/ytd-video-renderer[1]/div[1]/div/div[1]/div/h3/a') url1.get_attribute('href..

'list' object has no attribute 'find_all' 에러

# 1번. 전체 길이 파악 def find_length(): print('전체 길이 파악') total = driver.find_elements_by_id('contents').find_all('ytd-video-renderer','style-scope ytd-item-section-renderer') print(len(total)) 크롤링을 시도하는데 있어서, global driver driver = webdriver.Chrome() 크롬 드라이버 같은 경우, 값을 반환하는 형태가 list 형태이므로, beautifulsoup으로 진행해야한다.

[Python] TypeError: 'NoneType' object is not iterable 오류 해결 방법

'TypeError: 'NoneType' object is not iterable'에러가 파이썬에서 발생한다면, 반복문에 사용할 객체를 얻어오는 과정에서 발생하는 에러다. 두 가지로 해결할 수 있다. 크롤링을 하고 있다면, 적당한 시간을 주는 것(time.sleep() 을 통해 현재 페이지에서 모든 데이터를 제대로 잘 가져오는 작업을 완료하는 것) 과 마지막으로 try except 문을 통해 값을 가져올때, 구하지 못해도 에러가 나지 않게해야한다. 끝

python 크롤러 멀티스레드

python 크롤러를 개발하면서, 멀티스레드와 멀티프로세스를 동시에 사용해 성능 개선을 해본 과정을 정리해봤다. 사실상 크롤러에 있어서 멀티스레드를 이용하려면, 각 스레드에 따라서 해당 작업들을 잘 나눠줘야하는데, 각각 최대한 기능별로 모듈을 만들어 놓아도, 쉽지는 않았다. 그래서 대략적인 개념과 이해정도로 포스팅을 진행하려고 한다. 크롤러 같은 경우 보통 데이터를 네트워크로부터 다운로드하는 부분에서 병목 현상이 빈번하게 발생한다. 이떄 성능이 많이 떨어진다. 이를 본인 컴퓨터의 CPU의 멀티스레드와 멀티프로세스를 활용해 성능을 향상시켜보자. 마치, 물을 마시기 위해 입을 조금씩 벌리고 있다가, 내가 입을 크게, 나랑 똑같은 사람이 여러명이서 같이 물을 마시는 것이 멀티스레드를 한다라는 것을 이해하는데 ..

[python] 파이선 pd.concat

파이선 데이터 프레임 크롤링하면서, 유용하고 필요했던 함수를 이야기하면, 판다스 모듈에서는 특히나 데이터프레임을 만들고, 저장하고, 합치고는 것을 많이 하였는데, 무엇보다 합치는 작업이 많았다. 왜냐하면 각 페이지마다 파싱한 데이터들을 하나의 데이터프레임으로 만들어두고, 그때그떄마다 데이터프레임을 형성하여, 기존의 틀에 계속해서 합치는 방식으로 하였기 떄문이다. 기존의 리스트에다가 꾸준히 append를 통해 넣어서 한번에 할 수도 있지만, 그렇게 되면, 단점은 만약에 중간에 작업이 멈추거나 하면, 해당 리스트에 값은 저장되어 있지만, 얼마나 저장되어 있는지, 길이는 맞는지에 대한 확인작업이 어렵고, 사실상 다시 시작하여야할수도 있다고 판단했다. 그래서 판다스 pandas 의 pd.concat() 를 많이..

[python] 크롤링 implicit wait vs time.sleep

크롤링 하다보면, 잠시 코드 실행을 멈춰야 할 필요가 생긴다. 주된 요인은 2가지가 있을 것 같은데, 첫번쨰, 코드의 실행속도가 너무 빨라, 웹 서버에 데이터가 전송이 느려서, 실제 사이트가 열리지도 않았는데 코드가 먼저 실행되는 경우이다. 이런 경우에는 데이터가 씹히게 된다. 두번째, 반복적인 크롤링 작업은 서버에 많은 부하가 걸리는 것을 유발하는 큰 요인이다. 그러므로, 자칫하면 우리의 ip가 잠깐 정지 당할 수도 있다. 크롤링 작업을 진행하다가 갑자기 ip가 막혀버리면, 이보다 심한 경우는 없을 것이다. 그러므로 적절한 쉬어감의 미학이 필요한 것이다. 본격적으로 time.sleep 문과 implicit wait 문을 비교하면, 확실히 time.sleep 보다 implicit wait 이 좋은 것 같..