🗝️소프트웨어/💻python

[Python] TypeError: 'NoneType' object is not iterable 오류 해결 방법

'TypeError: 'NoneType' object is not iterable'에러가 파이썬에서 발생한다면, 반복문에 사용할 객체를 얻어오는 과정에서 발생하는 에러다. 두 가지로 해결할 수 있다. 크롤링을 하고 있다면, 적당한 시간을 주는 것(time.sleep() 을 통해 현재 페이지에서 모든 데이터를 제대로 잘 가져오는 작업을 완료하는 것) 과 마지막으로 try except 문을 통해 값을 가져올때, 구하지 못해도 에러가 나지 않게해야한다. 끝

[python] 파이선 pd.concat

파이선 데이터 프레임 크롤링하면서, 유용하고 필요했던 함수를 이야기하면, 판다스 모듈에서는 특히나 데이터프레임을 만들고, 저장하고, 합치고는 것을 많이 하였는데, 무엇보다 합치는 작업이 많았다. 왜냐하면 각 페이지마다 파싱한 데이터들을 하나의 데이터프레임으로 만들어두고, 그때그떄마다 데이터프레임을 형성하여, 기존의 틀에 계속해서 합치는 방식으로 하였기 떄문이다. 기존의 리스트에다가 꾸준히 append를 통해 넣어서 한번에 할 수도 있지만, 그렇게 되면, 단점은 만약에 중간에 작업이 멈추거나 하면, 해당 리스트에 값은 저장되어 있지만, 얼마나 저장되어 있는지, 길이는 맞는지에 대한 확인작업이 어렵고, 사실상 다시 시작하여야할수도 있다고 판단했다. 그래서 판다스 pandas 의 pd.concat() 를 많이..

[python] 크롤링 implicit wait vs time.sleep

크롤링 하다보면, 잠시 코드 실행을 멈춰야 할 필요가 생긴다. 주된 요인은 2가지가 있을 것 같은데, 첫번쨰, 코드의 실행속도가 너무 빨라, 웹 서버에 데이터가 전송이 느려서, 실제 사이트가 열리지도 않았는데 코드가 먼저 실행되는 경우이다. 이런 경우에는 데이터가 씹히게 된다. 두번째, 반복적인 크롤링 작업은 서버에 많은 부하가 걸리는 것을 유발하는 큰 요인이다. 그러므로, 자칫하면 우리의 ip가 잠깐 정지 당할 수도 있다. 크롤링 작업을 진행하다가 갑자기 ip가 막혀버리면, 이보다 심한 경우는 없을 것이다. 그러므로 적절한 쉬어감의 미학이 필요한 것이다. 본격적으로 time.sleep 문과 implicit wait 문을 비교하면, 확실히 time.sleep 보다 implicit wait 이 좋은 것 같..

[python] 크롤링에 필요한 함수 : filter, lambda, map

데이터프레임을 만들경우, 행의 수가 서로 맞아야 원하는 구조를 만들 수 있다. 하지만, 은근히 파싱하다보면, 공백이 있어서, 리스트의 길이가 내가 예상한 숫자인 30이 아닌 60이 계속 나왔는데, 이럴때 가장 많이 사용하는 것이 바로 filter 라는 함수가 있다. 기본 내장 함수여서 바로 사용이 가능하는 큰 장점이 있다. 참고로 lambda 와 map도 바로 사용이 가능하다 filter ['', '기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '', '현대 더 뉴 그랜저 3.0 LPi 렌터카 프리미엄', '', '기아 K5 3세대 1.6 가솔린 시그니처', '', '기아 The SUV 스포티지 2.0 가솔린 2WD 노블레스', '', '기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '', '..

python 코드 시간 계산

시간측정 이쁘게 하는 방법 import math import time import datetime start = time.time() math.factorial(12345678910) end = time.time() sec = (end - start) result = datetime.timedelta(seconds=sec) print(result) result_list = str(datetime.timedelta(seconds=sec)).split(".") print(result_list[0])

Kernel died with exit code 1073741845 에러

주로 VSCODE를 활용한다 주피터 노트북 인터페이스보다는 jupyter notebook extention을 활용해서 데이터 분석을 하는게 익숙하다. 하지만 잘 쓰다가, 노트북에서 쓰는걸 데스크탑 큰 화면에서 보고 싶어서, 버전을 동일시 하려고 아나콘다 프롬프트창에서 python 3.8.8 버전을 다운받고, vscode를 실행하니깐 에러가 발생했다. 1차 멘분. "Kernel died with exit code 1073741845" 에러가 뜨면서 커널이 안 열리는 것이었다. 중간에 kernel exit 에러도 떳다. 아무리 저 키워드로 찾아보고 재설치를 해봐도 고칠 수가 없었다 . 그런데 에러코드가 달라져서 달라진 코드로 검색해보고 정답을 찾았다. jupyter lab과의 충돌 때문이었다! 그래서 다음과..

selenium.webdriver.common.keys

Selenium library: 웹 크롤링 필수 라이브러리의 Keys 모듈 사용하는 방법 키보드의 키를 컴퓨터에 전달하기 위해서 사용함 send_keys( 입력할 키) from selenium.webdriver.common.keys import Keys 입력할 키 목록:입력할 키 Kyes.ENTER, Keys.ARROW_DOWN, Keys.ARROW_LEFT, Keys.ARROW_RIGHT, Keys.ARROW_UP, Keys.BACK_SPACE, Keys.CONTROL, Keys.ALT, Keys.DELETE, Keys.TAB, Keys.SPACE, Keys.SHIFT, Keys.EQUALS, Keys.ESCAPE, Keys.HOME, Keys.INSERT, Keys.PAGE_UP, Keys.PAGE_..

[python] crawling customizing

파이선 크롤링 전반적인 코드 / 특징 웹 브라우저를 보지 않고 크롤링하는 방식 2번쨰 탭으로 새창으로 생성 블랭크 스크래핑을 전문으로 하는 모듈 생성 하나는 빈창이고, 하나는 타겟창 URL로 스크래핑할때 괄호가 있으면 일부분만 짤라서 / 특정 숫자*전체수만 가져오는 경우 XPATH F TYPE 으로 해당 URL반복 네이버 로그인 방법 2가지 비교 1. send keys() 로 가는 방법 driver.implicitly_wait(3) driver.get('https://nid.naver.com/nidlogin.login') # 아이디/비밀번호를 입력해준다. driver.find_element_by_name('id').send_keys('naver_id') driver.find_element_by_name(..

[git/ source tree] 허접한 사용법

1. source tree https://ux.stories.pe.kr/181 Git GUI 소스트리(SourceTree) 설치방법과 사용방법 멋찐 개발자 같은 경우 검정 화면에 하얀색 글씨로 타이핑을 치며 Git 명령어를 실행시킬텐데요. 그게 멋지긴 하지만 편한 형태는 아닙니다. Git을 좀더 편하게 사용하기 위해서는 Git GUI(Graphic User ux.stories.pe.kr 설치 장소 : https://www.sourcetreeapp.com/ Sourcetree | Free Git GUI for Mac and Windows A Git GUI that offers a visual representation of your repositories. Sourcetree is a free Git cl..

vscode 램 사용

파이선으로 tensorflow, keras 를 이용해서 실습을 하던중에, 산경망 학습에서 다층 퍼셉트론으로 epoch 1000번으로 돌리다가 10배인 10000번으로 수정하였더니, vscode 갑자기 멈추더니, 램 사용량이 최대가 되어 강제 종료되었다. gpu 설정으로 하여 딥러닝을 진행하였는데, 램 20기가도 괜찮을줄 알았는데 아니었다.. 메모리랑 리소스는 다 뺴앗긴듯.. 여기서 활성화 함수를 좀 좋은걸 쓰고, loss 함수를 빠른걸 택하면 좀 괜찮을 것 같다