분류 전체보기

나의 첫 태블로 사용기 : 입문

방금 프로그램을 다운받고 처음으로 데이터를 연결해보았다. 가성비 있는 외제차 뽑는 방법을 찾았다. 해당 차종 평균 곡선 이하에 있는 모델을 찾으면 된다. 하하 12-02 태블로 커뮤니티에 좋은 자료가 많이 올라와있다, 데이터 시각화에 활용하고, 일원으로서 활동해보자 http://tableauwiki.com/blog/

crawling parrel processing

this is completed with just one virtual env. Not taking too much cpu memories

[백준]10798. 세로쓰기

총 다섯줄의 입력이 주어진다. 각 줄에는 최소 1개, 최대 15개의 글자들이 빈칸 없이 연속으로 주어진다. 주어지는 글자는 영어 대문자 ‘A’부터 ‘Z’, 영어 소문자 ‘a’부터 ‘z’, 숫자 ‘0’부터 ‘9’ 중 하나이다. 각 줄의 시작과 마지막에 빈칸은 없다. In [1]: # 세로 읽기 space = [] for row in range(5): row = [0] * 15 space.append(row) space Out[1]: [[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, ..

[python] Yotube crawling , 자동 크롤러 개발

검색어를 입력하면 해당 영상을 조회수순으로 필터를 적용하여, 전세계 영상을 높은것부터 차례대로 약 400~600개 정도의 영상들을 각각 사이트 주소 정보를 따로 테이블을 만들어 저장하고, (DB 1단계 - 정규화) 그리고 각 사이트 마다의 해당 영상의 댓글에 대한 정보를 인기순으로 나열하여, 선호도가 높은 댓글 순서 위주로, 나중에 데이터 전처리가 편하게 나열하여 테이블을 구상하였다. (DB 2단계- 반정규화) 여기서 살짝 고민되는게, 1차로 DB 설계시, 해당 영상의 랭킹 순서와 url 순서만 가지고 왔었다. url 도 고유성을 갖기 때문에 인덱스로서 사용할 수는 있지만, 애초에 차라리 고유의 인덱스번호를 순차적으로 주어서 차량 모델 및 키워드 관련 댓글 데이터 70 개 * 600 개 사이트 * 100..

[python] 자동차 크롤링

드디어 각 사이트마다, 중고차 정보(가격,연식,가격)등에 대한 정보를 담은 크롤러를 개발했다. ㅋㅋㅋ 헤헷 k-car 에서 2021-11-28 현재 크롤링한 결과 중고자동차 가격, 자동차 정보, 크롤링, 파이선을 활용해서, 전체적인 트렌드를 알기 위해 조사해본다. 사실 아직 전처리 과정이 조금 남긴했다. 980만원 같은 경우, 숫자로 변환해줘야하는데, replace 구문등을 쓰지 못했나보다.

[python 데이터 전처리]파이선 특정 문자열 행 삭제

크롤링하면서, 데이터 전처리를 미리 크롤링하는 단계에서 해놓으면 전체적인 테이블을 생성하는데 큰 도움이 된다. [19년 10월식, 18년 9월식(19년형), 13년 6월식(14년형), 17년 10월식(18년형), 20년 5월식, 16년 4월식, 18년 2월식, 19년 6월식(20년형), 17년 11월식(18년형), 17년 8월식(18년형), 17년 10월식(18년형), 16년 3월식, 15년 12월식(16년형), 17년 7월식(18년형), 17년 11월식(18년형), 15년 1월식, 14년 2월식, 16년 2월식, 19년 12월식(20년형), 21년 4월식(22년형), 15년 9월식, 20년 12월식(21년형), 19년 11월식, 18년 1월식, 16년 3월식, show more (open the raw..

파이참, vscode로 깃허브 관리, 모듈 임포트 라이브러리 관리 어렵다..

흑흑 언젠가 마스터하겠지?

[Git] 명령어 공부/

1. 명령어 mkdir gitfth 새로운 파일 만들기 PS C:\Users\smhrd\Desktop\VS_Python> mkdir gitfth cd gitfth 해당 폴더로 디렉토리를 변경합니다. PS C:\Users\smhrd\Desktop\VS_Python> cd gitfth git init 현재 디렉토리를 깃의 버전 저장소로 관리합니다. PS C:\Users\smhrd\Desktop\VS_Python\gitfth> git init 프로젝트 폴더 상태 확인하기 git status Commit - 버전 관리하기 버전에 포함될 버전을 만든 사람에 대한 정보를 설정합니다. 설정은 ~/.gitconfig 파일에 저장되고 1번만 해주면 됩니다. PS C:\Users\smhrd\Desktop\VS_Python..

[Git] Commit

깃, 깃허브를 사용하기 위해서 브랜치라는 개념을 알아야한다고 합니다. Git 그전에 우선 가장 기본적인 git 에 대하여 요약하면 다음과 같습니다. - 컴퓨터로 작업을 수행하면, 파일이 생성되는데, 한번 생성한 파일은 특히 코딩 같은 경우 계속 수정이 이뤄지는게 보통의 일입니다. 하지만, 매번 새로운 버전으로 업데이트할때, 이전의 편집을 수행한 파일에 대한 정보가 필요하다면 어떨까요. 물론 미리 해당 파일을 복사해서 따로 보관하고 있다면 상관없지만, 실제로는 엄청 번거롭습니다. 또한 실수로 파일명을 누락하거나, 저장하는 것을 깜빡하는 경우가 발생할 수 있어, 실제로는 이러한 불편함이 있어, Git 과 같은 버전 관리 시스템이 존재하여 버전 관리에 따른 문제를 해결해줍니다. Git은 소스코드를 효과적으로 ..

[python] os 라이브러리 경로 설정 - os.getcwd(), path

Python에서 os 라이브러리 이용해서 경로 설정하는 방법 파일을 읽고 쓰려면 우선 원하는 경로를 지정할 수 있어야 하는데, 윈도우, Mac os, 리눅스 등 각 운영체제에서는 경로를 지정할 때 구분하는 기호를 쓰는데 윈도우에선 백슬래시(\)를 사용하지만, Mac os에서는 슬래시(/)를 사용합니다. 따라서 경로를 지정하려면 운영체제에 따라 다르게 처리해주어야 합니다. 이럴 때에 유용하게 쓸 수 있는 함수가 있는데요. 물론 일반적인 상황에서도 자신이 저장하고 있는, 실행하고 있는 디렉 토리를 알려고 할떄 사용하는 명령어인데, 이것이 바로 os.path.join() 함수입니다. 함수 안에 경로의 개별 폴더 이름을 지정하면 해당 경로를 각 운영체제에 맞는 구분 기호를 사용하여 생성해줍니다. import o..