분류 전체보기

유튜브 자동차 영상 댓글 및 좋아요 텍스트 마이닝

안녕하세요 공부하는 웅이입니다. 오랜만에 포스팅을 진행합니다. 이번에는 자동차 관련 영상들에 대한 데이터를 크롤러를 통해서 수집하여, 조회수순으로 약 500~700여개의 영상에서의 댓글 5.9만건에 대한 텍스트 마이닝 한 것에 대해서 정리하고자 합니다. 유튜브에서 검색어 키워드는 hyundai kona 입니다. 필터 조건은 조회수순 하나만 설정하여 정렬하였습니다. 유튜브 상단에는 현대 자동차 광고 및 인도네시아 전직 레이서 출신의 (Fitra Eri)영상이 최상단에 노출되어 있는 것을 확인할 수 있습니다. 크롤러를 만들어, 전체 url 파싱 작업 및 스크래핑 작업을 분류해서 수행합니다. 각각 영상에 들어가서 작업을 수행해도 되지만, 코나 뿐만 아니라 다양한 차량에 대한 크롤링을 진행할 계획이므로, url..

자동차 유튜브 리뷰 데이터 - 감성분석(Sentimental Analysis)

서론 개인적으로 비지도 학습과 지도 학습에서 어떤 방식으로 이번 연구를 진행해야 하는지 고민이 많았다. 예를들어, 자동차리뷰의 경우, 전문적인 단어들이 많이 등장하고, 차량에 대한 이야기도 어느 정도 있지만, 유튜버의 외모나, 말투등 다양한 주제에 관한 글들이 많기 때문에, 초점을 어디에 두고 분석을 실시해야 하는지 결정해야했다. 한국어 같은 경우에는 영어와 달리, 일정한 방법론이 존재하지는 않기 떄문에 다양한 방식으로 진행을 꾀했다. 우선, 직접 지도학습을 진행하기 위해서 실제 댓글 3700여개를 가져와, 데이터 전처리를 통해서, 일정 부분 약 1200개 정도에 대한 댓글에 대해서 라벨링을 진행했다. 200개 넘어가는 순간부터 나의 주관적인 판단이 흐려지는 것을 느끼지 않을 수 없었다. 그만큼, 일정한..

딥러닝 감성분석 해보기(비지도학습)

비지도 감성 분석 - Lexicon을 기반 수행 - 대부분 감성 분석용 데이터는 이러한 결정된 레이블 값을 가지고 있지 않음 - 즉, Lexicon은 비지도에서 유용하게 사용됨 - 검색을 통해 여러가지 한글 Lexicon 데이터를 찾을 수 있음 텍스트 분석(Text Analytics) - 시맨틱(Semantic)이라는 용어? - '문맥상 의미' - 이 문맥상 의미에 따라 동일한 단어라도 완전하게 달라짐 - 제공되는 감성사전은 이 문맥을 파악하는데 가장 중점을 두고 있음 감성사전 라이브러리 1. NLTK - 시맨틱을 프로그램적으로 인터페이스화 가능 - 제공되는 WordNet은 다양한 상황에서 같은 어휘라도 다르게 사용되는 어휘의 시맨틴 정보를 제공 - 이를 위해 각각의 품사(명사, 동사, 형용사, 부사 등..

파이썬 정규표현식 re.sub

#특수 문자 .한 개의 임의의 문자를 나타냅니다. (줄바꿈 문자인 \n는 제외) ?앞의 문자가 존재할 수도 있고, 존재하지 않을 수도 있습니다. (문자가 0개 또는 1개) *앞의 문자가 무한개로 존재할 수도 있고, 존재하지 않을 수도 있습니다. (문자가 0개 이상) +앞의 문자가 최소 한 개 이상 존재합니다. (문자가 1개 이상) ^뒤의 문자로 문자열이 시작됩니다. $앞의 문자로 문자열이 끝납니다. {숫자}숫자만큼 반복합니다. {숫자1, 숫자2}숫자1 이상 숫자2 이하만큼 반복합니다. ?, *, +를 이것으로 대체할 수 있습니다. {숫자,}숫자 이상만큼 반복합니다. [ ]대괄호 안의 문자들 중 한 개의 문자와 매치합니다. [amk]라고 한다면 a 또는 m 또는 k 중 하나라도 존재하면 매치를 의미합니다...

파이썬, 주피터 노트북 cat 한글 깨짐

국가 또는 지역 > 관리자 옵션 > 시스템 로캘 변경 > 체크표시하기

어느 날 4화 데스크탑으로 다시보기

확실히 어느날이 유튜브에 급상승 인기 동영상에 올라오고, '쿠팡 플레이' 라는 것을 처음 알게 되었다. 김수현과 차승원이 나오고 기가막힌 스토리라인을 기대하며, 어느날을 시청하려고 하니 이게 웬걸..모바일로만 시청가능하다고..? 근데 쿠팡에서 평소 물건을 자주 구매하는 사람이면 무료로 볼 수 있다. 바로 쿠팡플레이 홈페이지에 접속이 가능하다는 것이다. 1080 Full HD 로 시청이 가능하니, 심심할때 보면 제격일 것 같다. https://www.coupangplay.com/home 어느날, 옷소매 붉은 끌동, 국민가수, 지금 헤어지는 중입니다.. 모두 쿠팡플레이를 통해서 다시 볼 수 있고, 다양한 컨텐츠들이 확보되어 있어 다채롭게 느껴졌다. 4화는 특히나 김수현의 소름돋는 연기력을 마주할 수 있는데,..

nltk 라이브러리

의미 연결망 분석 (Semantic Network Analysis) # 1. 의미 연결망 분석(Semantic Network Analysis) - 사회 연결망 분석(Social Network Analysis)는 분석 대상 및 분석 대상들간의 관계를 연결망 구조로 표현하고 이를 계량적으로 제시하는 분석 기법 - 사회 연결망 분석은 사람, 장소, 물품 등의 객체 간의 관계를 분석하는데 효과적이며, 주로 친구 관계, 전력 공급 등을 분석하는데 사용 - 사회 연결망 분석 기법을 텍스트 내 단어의 관계에 적용한 것이 바로 의미 연결망 분석 - 의 미 연결망 분석에서는 일정한 범위 내에서 어휘가 동시에 등장하면 서로 연결된 것으로 간주, 이 연결 관계들을 분석 from nltk import word_tokenize..

python matplotlib 한글 깨짐

한글 ttf 파일을 다운받은 후 C:\Windows\Fonts 에 저장한 후, 설치!! 까지 완료해야한다.. 그리고 font_manager.fontManager.ttflist # 설치된 폰트 리스트 확인 [FontEntry(fname='C:\\anaconda\\envs\\forTensorflow\\lib\\site-packages\\matplotlib\\mpl-data\\fonts\\ttf\\cmsy10.ttf', name='cmsy10', style='normal', variant='normal', weight=400, stretch='normal', size='scalable'), FontEntry(fname='C:\\anaconda\\envs\\forTensorflow\\lib\\site-packa..

어느 날 3화 쿠팡플레이 데스크탑으로 보기

어느 날 3화 다시보는 방법 모바일 말고 큰 화면에서 보려고 하면 데스크탑에서는 여기 쿠팡 https://www.coupangplay.com/home 에 들어가서 로그인 하면 볼 수 있다. 모바일로는 화면이 작아 힘들었는데 다행이다. 쿠팡 아이디나 QR 로그인을 하면 접속할 수 있고, 성인인증을 거쳐야 어느날 드라마를 시청할 수 있다. 전제조건은 와우회원이여야한다는 점이다. etc. 악인전에서 마동석과 김무열 주연의 영화에서 처음으로 마주했던 형이었던 김성규형... 3화부터 존재감 쌔게 드러낸다. 캐릭터는 그때도 정말 강렬했는데, 이번에도 장난 아니다. 교도소의 사자라고 표현하고 있는데, 색감과 아우라를 잘 배치해서 극적 긴장감이 상당했다. 솔직히 1,2편보고 조금 기대했는데, 3화보고 더 기대된다 ㅋㅋ..

한국어 NLP 수행하기전 과정

1. tweepy # tweepy 버전 낮추기 # !pip install tweepy==3.10.0 # import tweepy # tweepy.__version__ 4버전 부터 # konlpy 패키지가 tweepy 패키지에 포함된 StreamListener 클래스를 사용하고 # 있는데 이것을 불러오는데 문제가 발생 # StreamListener 클래스가 #Tweepy 버전 4부터 Stream 이란 클래스로 통합 즉, 3버전을 다운받야야한다. 기존에 쓰던 거는 4.4.0 버전이다. Successfully installed PySocks-1.7.1 tweepy-3.10.0 '4.4.0' 2. 윈도우 Mecab 설치 방법 1) C드라이브에 Mecab 폴더 생성 2) https://github.com/Pusn..