VScode 에서 Jupyter notebook에 한국어 자연어 처리 KoNLy 와 형태소 분석기 McCab 세팅하기(설치)

=================

OS : window 10 64bit

개발언어 : python 3.7.0

python 빌드 되어 커맨드 창에서 pip install 실행 가능

cpu : AMD Ryzen 7 3700X 8-Core Processor 3.59 GHz

램 : 24.0GB

그래픽 카드(gpu) : GeForce RTX 2060 SUPER

 

=================

 

 

1. 소개 

KoNLPy

KoNLPy(코엔엘파이)는 한국어 정보처리를 위한 파이썬 패키지

다양한 API(클래스)들이 존재

( ※ KoNLPy의 Mecab() 클래스는 윈도우에서 지원 X)

 

2. 환경 세팅

자바와  JPype를 설치해야 한국어 자연어 처리 KoNLPy 사용이 가능하다

1.  Java 1.7+ 설치
2.  JAVA_HOME 환경변수 설정
3.  JPype1(>=0.5.7) 다운 받은 후 pip를 이용하여 설치
4.  KoNLPy 설치

 

---

자바 jdk 버전확인

커맨드 창에서 javac.exe 파일을 우선 찾아준다

where /R C:\ javac.exe

명령어를 치면 된다.

 

 

java.exe 파일의 위치를 찾으니, jdk 버전으로 JDK16이 설치되어 있는 것을 확인하였습니다.

 

jdk 가 위치한 폴더에서 확인하기 

dir 명령어를 사용하는데,

jdk 가 설치된게 없는것같기도 하고, 16버전인것 같기도하네요.

jdk 같은 경우 

Java SE Development Kit 17.0.1 downloads 로 다운받아줬다.

(JRE

-Java Runtime Enviroment

컴파일된 자바 프로그램을 실행시켜주는 자바의 환경)

 

참고로 JDK 안에 JRE 가 포함되어 있다. 

https://www.oracle.com/java/technologies/downloads/#jdk17-windows

 

- JAVA로 개발을 할 게 아니라면, JDK가 아닌 JRE를 다운받아도 무방하다. 자바 프로그램을 실행하는데만 집중할 것이기 떄문이다. 자바 프로그래밍 안할거다 ㅋㅋ

 

---

환경 변수 설정해주기

jdk 또는 jre(나는 jre) 다운받고서,  설치가 끝났으면 이제 환경변수 설정해주는 단계이다.

방금 설치해준 jre 17버전을 확인해보자

 

c 드라이브 > 프로그램 파일에 보면, 방금 설치된 내용을 알 수 있다.

 

그리고 "C 드라이브 >> Program Files >> Java >> jdk-17.0.1 >> bin >> server"

위치에 가서  jvm.dll 이라는 파일이 존재하는지 확인할 필요가 있다.

 

해당 파일이 존재하면 주소를 복사하고, 환경 변수 설정 편집을 해주면 된다.

 

접근법1)

"고급 시스템 설정 >> 환경 변수 >> 사용자 변수 새로 만들기 >> 새 사용자 변수 생성"

 

접근법2)

검색창에 > 시스템 환경 변수 편집 >입력

 

1)그림

현재 날짜 ; 12/04

2)그림

 

환경변수 편집절차

순서1) 환경 변수 설정 입력 > 상단의 새로 만들기 클릭 

2) 새 사용자 변수

변수 이름 : JAVA_HOME
변수 값: C:\Program Files\Java\jdk-17.0.1\bin\server

 

변수 이름은 "JAVA_HOME"

복사 붙여넣기로 주소를 입력해준다.

 

---

터미널창에 jdk 버전이 잘 변경되었는지, 업데이트 되었는지 확인하기

그림1)

jdk 버전이 현재 환경 변수로 편집한 17이 나오면 성공한것이다.

---

Jpype 설치 (간단하다)

jdk 이후에는, JPype 설치를 해야한다. JPype 같은 경우 자바가 설치되어있지 않으면 설치 시 에러가 발생하기 때문에 반드시 자바 먼저 설치해주어야 한다.

파이썬의 경우 파이썬과 자바를 연동하기 위해 JPype 가 필요한데,

JPype 설치 버전을 현재 파이썬 버전, 그리고 bit 에 맞춰서 잘 선택해야 한다.

 

단계 그림1)

vscode 파이선 버전

 

단계 그림2)

파이선의 버전을 확인후 Python 3.7.0 일 경우 JPype1 cp37 버전을  다운받아주시면됩니다

 

근데 여기에 선택지가 있습니다.

버전이 2개가 있습니다.

 

 

저는 고지식하기떄문에, 아래 버전으로 설치를 진행해보겠습니다.

(부디 한번에 성공하길..

버전간 충돌이 있어서 아래나 위에꺼중에 하나가 안되면 다른 걸로 시도해보아야 합니다)

 

그리고 여기에서 .whl 이라고 확장자명이 whl 이라고 뜨는것을 볼 수 있습니다.

wheel이 설치되어 있지 않으면

pip install wheel 을 입력하여 wheel을 설치해야합니다.

 

저같은 경우, 이미 존재한다고 합니다.

이제 방금 다운받은 whl 파일이 위치해있는 경로에서 터미널창을 켜줍니다.

터미널에서 해당 경로로 이동하면 되지만, download에 있습니다. 저는 클릭해서 터미널을 여는 걸로 했지만,

그냥 터미널로 진행하겠습니다.

 

설치1)

그 후 pip를 이용하여 설치해주시면됩니다

 

아나콘다에서 실행했는데도, 경로 잘못잡아서 실패했다.

이렇게도 실행X

 

주피터에서 실행해보니, 현재 디렉토리에 방금 다운로드 받은 폴더가없어서 또 실행X

 

파일을 같은 디렉토리에 넣어줬더니 성공했다

 

---

이제 모든 과정이 끝났다.

 

축배를 들기 바로 직전이다.

 

JDK, JPype 설치를 완료했으니 KoNLPy를 설치해보자.

 

우와 성공했다.

 

생각보다 많은 패키지들이 설치된다

Collecting konlpy
  Using cached konlpy-0.5.2-py2.py3-none-any.whl (19.4 MB)
Requirement already satisfied: colorama in c:\anaconda\envs\fortensorflow\lib\site-packages (from konlpy) (0.4.4)
Collecting lxml>=4.1.0
  Downloading lxml-4.6.4-cp37-cp37m-win_amd64.whl (3.5 MB)
Requirement already satisfied: JPype1>=0.7.0 in c:\anaconda\envs\fortensorflow\lib\site-packages (from konlpy) (1.1.2)
Collecting beautifulsoup4==4.6.0
  Using cached beautifulsoup4-4.6.0-py3-none-any.whl (86 kB)
Collecting tweepy>=3.7.0
  Downloading tweepy-4.4.0-py2.py3-none-any.whl (65 kB)
Requirement already satisfied: numpy>=1.6 in c:\anaconda\envs\fortensorflow\lib\site-packages (from konlpy) (1.21.4)
Requirement already satisfied: typing-extensions in c:\anaconda\envs\fortensorflow\lib\site-packages (from JPype1>=0.7.0->konlpy) (4.0.1)
Requirement already satisfied: requests<3,>=2.11.1 in c:\anaconda\envs\fortensorflow\lib\site-packages (from tweepy>=3.7.0->konlpy) (2.26.0)
Requirement already satisfied: requests-oauthlib<2,>=1.0.0 in c:\anaconda\envs\fortensorflow\lib\site-packages (from tweepy>=3.7.0->konlpy) (1.3.0)
Requirement already satisfied: urllib3<1.27,>=1.21.1 in c:\anaconda\envs\fortensorflow\lib\site-packages (from requests<3,>=2.11.1->tweepy>=3.7.0->konlpy) (1.26.7)
Requirement already satisfied: charset-normalizer~=2.0.0 in c:\anaconda\envs\fortensorflow\lib\site-packages (from requests<3,>=2.11.1->tweepy>=3.7.0->konlpy) (2.0.8)
Requirement already satisfied: certifi>=2017.4.17 in c:\anaconda\envs\fortensorflow\lib\site-packages (from requests<3,>=2.11.1->tweepy>=3.7.0->konlpy) (2021.10.8)
Requirement already satisfied: idna<4,>=2.5 in c:\anaconda\envs\fortensorflow\lib\site-packages (from requests<3,>=2.11.1->tweepy>=3.7.0->konlpy) (3.3)
Requirement already satisfied: oauthlib>=3.0.0 in c:\anaconda\envs\fortensorflow\lib\site-packages (from requests-oauthlib<2,>=1.0.0->tweepy>=3.7.0->konlpy) (3.1.1)
Installing collected packages: tweepy, lxml, beautifulsoup4, konlpy
Successfully installed beautifulsoup4-4.6.0 konlpy-0.5.2 lxml-4.6.4 tweepy-4.4.0