데이터 관리 프로세스(총정리)

데이터수집

 

타겟 키워드 탐색 - 자동차

타겟 키워드 선정

타겟 세그먼트 선정 - MZ 세대 경제력을 갖춘 여성 소비자

 

유튜브-

전세계 누적 조회수 기준 모델별 차량 영상 모델별 600건 x 50=30,000만건 영상의

시계열 비정형 텍스트 데이터(600만건)

 

네이버 카페 -

실제 오너들의 차량 시승 경험 관련 데이터 수집 목적

BMW 3 시리즈 카페 등 50곳 이상 카페 가입 및 등업 절차 수행

수집 완료된 비정형 2010~2021년 시계열 데이터 (내용 90만건 + 댓글  270만건의 총 360만건의 데이터)

 

여성시대 -

대한민국 최다 여성 회원수 보유 및 일일 방문수 300만 이상 커뮤니티

벤츠, 아우디, BMW 관련 키워드 텍스트 데이터(40만건)

 

중고차 데이터-

다나와 중고차,K-car (2만대의 모델별 가격 및 차량 제원, 이미지 데이터)

 

경영 전략 보고서 텍스트 데이터-

테슬라 분기별 보고서 외 100건(현대자동차 지속가능경영보고서 포함)

 

인구 통계 데이터(mz세대 여성 분포도)-

GDP 순위 상위 10개국

 

자동차 모델별 차량 가격 데이터-

300건의 데이터

 

전기차 충전소 국내

- 주소 91672건

 

외제차 수리 센터 국내(BMW, 벤츠, 아우디, 폭스바겐, 등 7회사)

- 621건

 

보험비 평균 지급액

BMW, 벤츠, 아우디, 폭스바겐, 렉서스, 토요타, 테슬라- 7건

데이터 전처리 & NLP 자연어 처리

텍스트 정규화(클렌징, 토큰화, 어근화)

텍스트 분류(지도)

의미 연결망 분석(Semantic Network Analysis)

감성 분석(지도/비지도)

워드 클라우드

word2vec(자연어 벡터화) 특정 키워드 코사인 유사도 구하기

데이터 시각화(BI tool 이용)

DB 구축

MYSQL

추천 키워드에 따른 차량 모델 table

N:M 키워드별 차량 mapping 한 table

키워드 table

 

 

---

아이디어 주제

자동차를 구매하는데에 있어서 가장 중요한 데이터는 무엇인가? 라는 문제를 정하여 해당 문제에 대한 해답을 찾는 과정을 수행하였습니다.

 

소비자 경험은 스마트폰의 대중화 및 인터넷의 접근성 강화로 인해 소비자들은 서비스 경험을 실시간으로 업로드하고 있습니다. 그래서 소비자 경험의 중요성이 갈수록 강화되고 있습니다. 여기서, 차량과 관련된 직간접적인 경험과 관련된 데이터의 양을 보면, 친환경차에 대한 관심, 다양한 디자인의 선택폭 확대, 자율주행등으로 인하여 소비자들의 관심이 폭발적으로 증가하고 있음을 알 수 있습니다.

 

이러한 방대한 데이터 속에서 차량을 구매하는데있어 결정적인 요인을 찾고, 개인별로 차량을 선택하는데 있어 중요시 여기는 기준이 달라 비교 우위가 다른 카테고리 속에서 소비자의 의사결정에 중요한 영향력을 행사하는 데이터들에 대한 분석을 실시합니다.

 

자동차 선택 속성 요인을 규명하기 위해 자동차별 지역별 판매량, 브랜드 시장 점유율, 실적과 관련된 시계열 수치 데이터, 유튜브,네이버 카페, 여성시대등의 실제 차량과 관련된 직접적인 컨텐츠 및 실제 오너들과 관련된 경험과 관련된 비정형 텍스트 데이터, 중고차, 전세계의 GDP 상위 10개국의 MZ 세대 여성 비율 등의 다양한 데이터를 수집하여, 자동차 선택에 있어 직간접적인 데이터들을 수집합니다. 감성분석, 의미 연결망 분석, 워드 클라우드 등의 자연어 처리를 통해 복잡한 문장 속에서 사람들의 관심도, 트렌드, 생각의 변화 트렌드를 읽어내어 인사이트를 제공하는 것을 목표로 코딩을 진행하였습니다.

 

개발 목표

-유튜브 차량별 트렌드 분석(누적 조회수, 좋아요수, 댓글 키워드 분석)

-실사용자의 차량의 모델별 중요 관심사 도출

-자동차 브랜드별 소비자의 중요 키워드

-자동차 브랜드별 중요 키워드 워드 클라우드 등의 시각화

-다양한 데이터의 시각화 그래프 및 대시보드 생성

-분석 결과에 대한 인사이트 도출 등등

 

 

개발 내용

-자동차 브랜드별 중요 키워드 Heat Map, Word Cloud

-중요 키워드별 사람들의 관심도 변천사 시계열 그래프

-국가별 모델별 관심도 추이

-특징 키워드 의미 연결망 분석

-추천 모델별 가격 추이

-차량별 추천 모델별 중고차 가성비 추이

-추천 차량의 정비 편의성에 대한 수치화 등등

 

 

 

 

기능별 빅데이터 분석 명세서

기능명

: NLP 텍스트 키워드 추출 외 7건(텍스트 마이닝, 빅데이터 시각화, 인사이트 도출) 

1.데이터 준비

데이터 정의

: 차량과 관련된 직간접적인 빅데이터

-브랜드별 자동차 생산량, 지역별 수출량 등

-브랜드별 자동차 경영 전략 보고서

-유튜브 차량 영상

-네이버 각 브랜드별 모델 카페 자유게시판(실제 오너 이야기)

-대한민국 1위 여성커뮤니티 사이트(여성시대) - 자유게시판(차량별 키워드)

-중고차 사이트(다나와,k-car) 차량 가격,연식,제원,이미지 데이터

-나라별 인구수 데이터

-각 지역별 기후 데이터

-네이버 자동차 모델별 가격 및 제원 데이터

-보험사 다이렉트 모델별 가격 데이터

-각 지역별 위도,경도 데이터

 

데이터 획득 방법

:

1)유튜브, 네이버 카페, 중고차 사이트 등 각 사이트별 전용 크롤러 개발

2)통계청

3)각 자동차 제조사별 공식 사이트

4)네이버 자동차

5)다나와 자동차 백과

 

2.전처리

전처리 과정

:

1)텍스트 전처리(Konlpy) 

2)텍스트 번역(polyglot)

3)워드 토크나이징(NLTK)

4)한국어 전처리(Mecab)

 

3.모델 생성 및 학습

모델링 목표:

구체적이고 다각적으로 고객의 생각과 트렌드에 대해 분석함으로써, 차량 모델별 숨겨진 소비자의 unmet needs를 도출하고, 숨겨진 가치를 파악하여, 고객에게 인사이트를 도출하여, 차량에 대한 경험을 보다 풍부하게 설계하는 것을 모델로 설정합니다.

 

모델링 가능 알고리즘 : 

1) Semantic Network Analysis

nltk의 ConditionalFreqDist, bigram 등을 사용하여 단어 간의 동시 출현 빈도 분석 및 문서나 문장으로부터 찾고자 하는 두 단어간의 유사한 의미를 가졌는지 추상화된 정보를 얻을 수 있습니다.

 

2) Sentimental Analysis

감정 상태 분류는 감성 사전을 해당 데이터에 일부 조정하고, 아이디별 작성한 문장에서 긍정, 부정 키워드 +1,-1 수치화하여 전체 카운트로 평균한 값을 기준으로 댓글의 총합에서 긍정, 부정에 대한 백분율에 대한 데이터를 얻을 수 있습니다.

3) Text Rank

키워드 추출과 핵심 문장 추출을 통해, 수백만건의 데이터 속에서 Data Sensing, Insight 를 도출하고, 패턴을 분석하였습니다.

 

학습:

비지도 학습으로 진행하였습니다.

 

모델링 검증:

차량별 판매 데이터, 국내 점유율 등의 실증적인 데이터를 통해 BI tool인 태블로를 이용하여 시각화하여, 분석한 데이터에 신빙성을 부여하였습니다. 

모델링 평가 결과:

개인화된 추천 차량의 customizing 이 가능하며, 차량에 대한 정보를 다각화한 시각화 분석 리포트 interactive하게 보여줍니다. 필요한 데이터를 시각화 그래프에서 선택해서 볼 수 있습니다.