📁WEB & ML & DL 프로젝트/🌵2차 프로젝트(LG)

데이터 관리 프로세스(총정리)

데이터수집 타겟 키워드 탐색 - 자동차 타겟 키워드 선정 타겟 세그먼트 선정 - MZ 세대 경제력을 갖춘 여성 소비자 유튜브- 전세계 누적 조회수 기준 모델별 차량 영상 모델별 600건 x 50=30,000만건 영상의 시계열 비정형 텍스트 데이터(600만건) 네이버 카페 - 실제 오너들의 차량 시승 경험 관련 데이터 수집 목적 BMW 3 시리즈 카페 등 50곳 이상 카페 가입 및 등업 절차 수행 수집 완료된 비정형 2010~2021년 시계열 데이터 (내용 90만건 + 댓글 270만건의 총 360만건의 데이터) 여성시대 - 대한민국 최다 여성 회원수 보유 및 일일 방문수 300만 이상 커뮤니티 벤츠, 아우디, BMW 관련 키워드 텍스트 데이터(40만건) 중고차 데이터- 다나와 중고차,K-car (2만대의 ..

연습2

연습

유튜브 자동차 영상 댓글 및 좋아요 텍스트 마이닝

안녕하세요 공부하는 웅이입니다. 오랜만에 포스팅을 진행합니다. 이번에는 자동차 관련 영상들에 대한 데이터를 크롤러를 통해서 수집하여, 조회수순으로 약 500~700여개의 영상에서의 댓글 5.9만건에 대한 텍스트 마이닝 한 것에 대해서 정리하고자 합니다. 유튜브에서 검색어 키워드는 hyundai kona 입니다. 필터 조건은 조회수순 하나만 설정하여 정렬하였습니다. 유튜브 상단에는 현대 자동차 광고 및 인도네시아 전직 레이서 출신의 (Fitra Eri)영상이 최상단에 노출되어 있는 것을 확인할 수 있습니다. 크롤러를 만들어, 전체 url 파싱 작업 및 스크래핑 작업을 분류해서 수행합니다. 각각 영상에 들어가서 작업을 수행해도 되지만, 코나 뿐만 아니라 다양한 차량에 대한 크롤링을 진행할 계획이므로, url..

자동차 유튜브 리뷰 데이터 - 감성분석(Sentimental Analysis)

서론 개인적으로 비지도 학습과 지도 학습에서 어떤 방식으로 이번 연구를 진행해야 하는지 고민이 많았다. 예를들어, 자동차리뷰의 경우, 전문적인 단어들이 많이 등장하고, 차량에 대한 이야기도 어느 정도 있지만, 유튜버의 외모나, 말투등 다양한 주제에 관한 글들이 많기 때문에, 초점을 어디에 두고 분석을 실시해야 하는지 결정해야했다. 한국어 같은 경우에는 영어와 달리, 일정한 방법론이 존재하지는 않기 떄문에 다양한 방식으로 진행을 꾀했다. 우선, 직접 지도학습을 진행하기 위해서 실제 댓글 3700여개를 가져와, 데이터 전처리를 통해서, 일정 부분 약 1200개 정도에 대한 댓글에 대해서 라벨링을 진행했다. 200개 넘어가는 순간부터 나의 주관적인 판단이 흐려지는 것을 느끼지 않을 수 없었다. 그만큼, 일정한..

KNN 자동차 분류 및 예측

추천서비스를 knn을 활용하여 기획하고 있다. 관련 코드를 작성해보았고, 해석을 진행해보겠다. 0. 데이터와 레이블로 나눔 분류기준은 자체적으로 만들어보았다. 앞의 head 부분만 print(dtm.iloc[0:5]) 해보면 다음과 같은 출력 값이 나온다. 0 Pricist 1 Proud Patrons 2 Camper 3 Proud Patrons 4 Pricist Name: class, dtype: object 등등. # class 분류 기준 - 5가지 # Elitist : 차는 그 저 차라고 생각하는 부류 # Proud Patrons : 자동차가 자산의 노력에 대한 result이거나 관심을 받고 싶어하는 관종의 부류 # Camper : Camping을 즐기기너 큰 덩치의 차량을 좋아하는 부류 # Fan..

추천 알고리즘

배경 차량의 선호도와 실제 구매하려는 차량과의 상관관계가 존재함을 확인하였고, 개인별 취향에 따라 차량 추천에서 나아가 차량별 특정 연령대의 선호도, SNS 상에서의 언급 빈도 등에 대한 분석이 가능하였다. 조건부 연산을 활용하고, 알고리즘에 사용하는 요소를 보다 세분화하여 추천 정확도 향상을 도모하였다. 어떤 점을 바탕으로 차량을 추천하고, 가중치를 어떻게 줘서 추천 알고리즘을 고안할 것인지 준비가 필요하다. 1. hadoop 2. mapreduce 3. r 4.피어슨 상관계수 5.필터링 알고리즘 6.시스템 아키텍처 7.알고리즘 순서도 8.알고리즘 의사코드 9.데이터 적재,가공,코드 데이터 추출, 알고리즘 구현 1. hadoop Apache Hadoop 은 빅데이터 처리를 위한 다수의 컴퓨터 클러스터에..

자동차 감성분석 키워드

에어서스펜션 전용 모델 기술적인 단어----- 에어서스펜션 전용 모델 탄소섬유 CFRP 무게를 낮춘다 카본파이버 직조 카본 대량 생산 가볍다 튼튼하다 듀얼 모터 싱글 모터 사륜구동 시속100km 가속시간 kWh 마력 토크 출력 ~보다 강력하다 차체 크기 가속력 스포츠카 배터리 용량 주행가능거리 휠베이스 회전 반경 후륜조향 부품 에어 서스펜션 승차감 가변댐퍼 서스펜션 시승 워셔액 완성도 생산비 헤일로 카 충전소 넉넉하다 충전 la 모터쇼 앰블럼 디지털 사이드 미러 팝업식 / 튀어나옴 / 접을 수 있음 자율주행 앞문 뒷문 코치도어 에어 플랩 외관 컬러 earth's ionosphere 천염염료 구리 / 항균 효과 응접실 콘센트 방같다 TV 수납공간 개성 넘치는 공간 넓은 공간 스마트허브 디스플레이 인치 천장..

논문 지속적인 업데이트

보호되어 있는 글입니다.