한국어 NLP 수행하기전 과정

 

1. tweepy

# tweepy 버전 낮추기
# !pip install tweepy==3.10.0
# import tweepy
# tweepy.__version__

 

4버전 부터

# konlpy 패키지가 tweepy 패키지에 포함된 StreamListener 클래스를 사용하고

# 있는데 이것을 불러오는데 문제가 발생

# StreamListener 클래스가

#Tweepy 버전 4부터 Stream 이란 클래스로 통합

 

즉, 3버전을 다운받야야한다.

 

기존에 쓰던 거는 4.4.0 버전이다.

Successfully installed PySocks-1.7.1 tweepy-3.10.0
'4.4.0'

 

2. 윈도우 Mecab 설치 방법

 

1) C드라이브에 Mecab 폴더 생성

2)  https://github.com/Pusnow/mecab-ko-msvc/releases/tag/release-0.9.2-msvc-3 에서

mecab-ko-msvc 설치

mecab폴더에 압축을 풀어주도록 한다

 

3)mecab-ko-dic-msv 설치

https://github.com/Pusnow/mecab-ko-dic-msvc/releases/tag/mecab-ko-dic-2.1.1-20180720-msvc-2

똑같이 mecab폴더에 압축을 풀어주도록 한다.

 

현재까지 이런 모양이어야한다.

 

4) python wheel 설치마지막 단계이다

https://github.com/Pusnow/mecab-python-msvc/releases/tag/mecab_python-0.996_ko_0.9.2_msvc-3

 

이 파일은 본인이 현재 작업하는 공간에 따라 달라지는데, 나의 경우엔 따로 아나콘다에서 가상환경을 위한 python 3.7버전의 이름 forTensorflow 가 있어, 그곳에 저장해줘야한다.

 

그리고 Lib 의 site-packages 안에 넣어줘야한다.

 

(아나콘다 사용자 경우 base) C:\Users\사용자명\Anaconda3\Lib\site-packages) 
(가상환경 사용 경우)           C:/Users/사용자명/Anaconda3/envs/가상환경명/Lib/site-packages

 

본인의 가상 환경 위치를 파악하고 싶은 경우에는 본인의 users에 들어가서 .conda 에 들어가서 텍스트파일 보면 된다.

나의 경우 forTensorflow를 사용할 것이다.

여기에 나와있는 주소로 이동하면 된다.

 

그리고 파일을 복붙하면 됩니다

에러가 납니다

그 이유는 cd 로 디렉토리를 변경해주지 않았기 떄문입니다.

변경해주면 된다

그리고 해당 파일을 설치하면 됩니다.

성공했다 설치를!

파일을 옮긴후에는 아나콘다 프롬프트 창을 켜서, 해당 가상환경을 activate 한 후에 pip 으로 설치하면 설치가 완료됩니다.

 

 

---

Mecab 실행 성공(feat. 단어토큰화)

 

- 한국어는 공백으로 단어를 분리해도 조사, 접속사 등이 남아 분석에 어려움이 있음
- 이를 해결해주는 한국어 토큰화는 조사, 접속사를 분리해주거나 제거
- 한국어 토큰화를 사용하기 위해서는 konlpy, mecab 이라는 라이브러리가 필요

 

 

[('너', 'NP'),
 ('를', 'JKO'),
 ('만난', 'VV+ETM'),
 ('후', 'NNG'),
 ('로', 'JKB'),
 ('참', 'MAG'),
 ('행복', 'NNG'),
 ('했', 'XSA+EP'),
 ('다고', 'EC')]