분류 전체보기

[python] 크롤링에 필요한 함수 : filter, lambda, map

데이터프레임을 만들경우, 행의 수가 서로 맞아야 원하는 구조를 만들 수 있다. 하지만, 은근히 파싱하다보면, 공백이 있어서, 리스트의 길이가 내가 예상한 숫자인 30이 아닌 60이 계속 나왔는데, 이럴때 가장 많이 사용하는 것이 바로 filter 라는 함수가 있다. 기본 내장 함수여서 바로 사용이 가능하는 큰 장점이 있다. 참고로 lambda 와 map도 바로 사용이 가능하다 filter ['', '기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '', '현대 더 뉴 그랜저 3.0 LPi 렌터카 프리미엄', '', '기아 K5 3세대 1.6 가솔린 시그니처', '', '기아 The SUV 스포티지 2.0 가솔린 2WD 노블레스', '', '기아 K5 3세대 2.0 LPI 렌터카 스탠다드', '', '..

python 코드 시간 계산

시간측정 이쁘게 하는 방법 import math import time import datetime start = time.time() math.factorial(12345678910) end = time.time() sec = (end - start) result = datetime.timedelta(seconds=sec) print(result) result_list = str(datetime.timedelta(seconds=sec)).split(".") print(result_list[0])

Kernel died with exit code 1073741845 에러

주로 VSCODE를 활용한다 주피터 노트북 인터페이스보다는 jupyter notebook extention을 활용해서 데이터 분석을 하는게 익숙하다. 하지만 잘 쓰다가, 노트북에서 쓰는걸 데스크탑 큰 화면에서 보고 싶어서, 버전을 동일시 하려고 아나콘다 프롬프트창에서 python 3.8.8 버전을 다운받고, vscode를 실행하니깐 에러가 발생했다. 1차 멘분. "Kernel died with exit code 1073741845" 에러가 뜨면서 커널이 안 열리는 것이었다. 중간에 kernel exit 에러도 떳다. 아무리 저 키워드로 찾아보고 재설치를 해봐도 고칠 수가 없었다 . 그런데 에러코드가 달라져서 달라진 코드로 검색해보고 정답을 찾았다. jupyter lab과의 충돌 때문이었다! 그래서 다음과..

selenium.webdriver.common.keys

Selenium library: 웹 크롤링 필수 라이브러리의 Keys 모듈 사용하는 방법 키보드의 키를 컴퓨터에 전달하기 위해서 사용함 send_keys( 입력할 키) from selenium.webdriver.common.keys import Keys 입력할 키 목록:입력할 키 Kyes.ENTER, Keys.ARROW_DOWN, Keys.ARROW_LEFT, Keys.ARROW_RIGHT, Keys.ARROW_UP, Keys.BACK_SPACE, Keys.CONTROL, Keys.ALT, Keys.DELETE, Keys.TAB, Keys.SPACE, Keys.SHIFT, Keys.EQUALS, Keys.ESCAPE, Keys.HOME, Keys.INSERT, Keys.PAGE_UP, Keys.PAGE_..

[python] crawling customizing

파이선 크롤링 전반적인 코드 / 특징 웹 브라우저를 보지 않고 크롤링하는 방식 2번쨰 탭으로 새창으로 생성 블랭크 스크래핑을 전문으로 하는 모듈 생성 하나는 빈창이고, 하나는 타겟창 URL로 스크래핑할때 괄호가 있으면 일부분만 짤라서 / 특정 숫자*전체수만 가져오는 경우 XPATH F TYPE 으로 해당 URL반복 네이버 로그인 방법 2가지 비교 1. send keys() 로 가는 방법 driver.implicitly_wait(3) driver.get('https://nid.naver.com/nidlogin.login') # 아이디/비밀번호를 입력해준다. driver.find_element_by_name('id').send_keys('naver_id') driver.find_element_by_name(..

[git/ source tree] 허접한 사용법

1. source tree https://ux.stories.pe.kr/181 Git GUI 소스트리(SourceTree) 설치방법과 사용방법 멋찐 개발자 같은 경우 검정 화면에 하얀색 글씨로 타이핑을 치며 Git 명령어를 실행시킬텐데요. 그게 멋지긴 하지만 편한 형태는 아닙니다. Git을 좀더 편하게 사용하기 위해서는 Git GUI(Graphic User ux.stories.pe.kr 설치 장소 : https://www.sourcetreeapp.com/ Sourcetree | Free Git GUI for Mac and Windows A Git GUI that offers a visual representation of your repositories. Sourcetree is a free Git cl..

자동차 감성분석 키워드

에어서스펜션 전용 모델 기술적인 단어----- 에어서스펜션 전용 모델 탄소섬유 CFRP 무게를 낮춘다 카본파이버 직조 카본 대량 생산 가볍다 튼튼하다 듀얼 모터 싱글 모터 사륜구동 시속100km 가속시간 kWh 마력 토크 출력 ~보다 강력하다 차체 크기 가속력 스포츠카 배터리 용량 주행가능거리 휠베이스 회전 반경 후륜조향 부품 에어 서스펜션 승차감 가변댐퍼 서스펜션 시승 워셔액 완성도 생산비 헤일로 카 충전소 넉넉하다 충전 la 모터쇼 앰블럼 디지털 사이드 미러 팝업식 / 튀어나옴 / 접을 수 있음 자율주행 앞문 뒷문 코치도어 에어 플랩 외관 컬러 earth's ionosphere 천염염료 구리 / 항균 효과 응접실 콘센트 방같다 TV 수납공간 개성 넘치는 공간 넓은 공간 스마트허브 디스플레이 인치 천장..

[sqld] 43회 후기 및 복원

제43회 sqld 시험 2021.11.20.토요일 시험이 오전 10:00 부터 11:30분까지 진행되었다. 그리고 결과발표는 2021.12.17 에 시행된다고 한다. 크게 고민을 하지 않고 문제를 풀어갔었던 것 같다. 생각나는대로 툭툭 긁적여보면, 다음과 같다. 1,2단원 객관식 답안 : 1. 관계 표기법 관계명, 관계차수, 관계선택사양 Membership, Cardinality, Optionality 2.설명 관련 Row chaining : 많은 칼럼은 로우 체이닝과 로우 마이그레이션이 많아지게 되어 성능이 저하되기 떄문에, 길이가 너무 길어서 데이터 블록 하니에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸 쳐 하 의 로우가 저장되어 있는 형태가 로우체이닝 (Row Chaining) 현상 Ro..

휴먼스케이프 - 카카오 코인 알아보자

안녕하세요 공부하는 웅이입니다. 2021.11.18일 카카오가 한 회사에 투자 검토를 한다고 밝혔습니다(내용 수정 11.19) 그것도 150억이라는 큰 금액을 말입니다. 그 회사는 무엇이며, 카카오가 얼마나 성장했는지 분석하는 포스팅을 작성해보겠습니다. 1. 카카오 매출 카카오같은 소셜 sns 및 거대 IT 플랫폼 기업을 논의할 때 가장 먼저 봐야할 건 무엇일까요? 바로 월간 활성 이용자(MAU)를 분석하는 것이 첫번째 단계입니다. Monthly Active Users 2021년 3분기 자료입니다. 국내에 4680만명이 사용하며, 해외에서는 5418만명이 사용 하는 것으로 나타나 있습니다. 대한민국 국민 5000만 명 중에 대략 93~94% 국민이 사용하고 있는 것이니, 거의 대부분이 사용한다고 생각하는..

포르쉐 자전거를 서울에서 탈 수 있다고?

안녕하세요 공부하는 웅이입니다. 날씨가 점차 추워지고 있습니다. 건강 잘 챙기고, 운동을 통해 면역력이 떨어지지 않도록 하는게 점차 중요해지고 있습니다. 위드 코로나가 되면서 개인의 건강은 개인이 잘 챙겨야 하는 시대가 찾아온 것 같습니다. 그럼 본격적으로 다음 주제에 대해 포스팅 진행 한번 해보겠습니다~ 서울시의 따릉이 포르쉐 따릉이 자전거 처음 만든 것이 아닌 포르쉐 서울시의 따릉이 서울에서는 다른 곳에는 없는 따릉이라는 자전거가 있습니다. 저렴한 가격에 무인으로 자전거를 빌릴 수 있어 가까운 거리를 이동하거나, 여가용으로 자전거를 이용하는 인구가 덕분에 급증하였고, 길가에 많은 사람들을 볼 수 있습니다. 코로나 바이러스로 인한 사회적 거리두기가 도시의 거리의 모습을 많이 바꿔놓았습니다. 무엇보다 기..