🗝️소프트웨어/💻python

한국어 NLP 수행하기전 과정

1. tweepy # tweepy 버전 낮추기 # !pip install tweepy==3.10.0 # import tweepy # tweepy.__version__ 4버전 부터 # konlpy 패키지가 tweepy 패키지에 포함된 StreamListener 클래스를 사용하고 # 있는데 이것을 불러오는데 문제가 발생 # StreamListener 클래스가 #Tweepy 버전 4부터 Stream 이란 클래스로 통합 즉, 3버전을 다운받야야한다. 기존에 쓰던 거는 4.4.0 버전이다. Successfully installed PySocks-1.7.1 tweepy-3.10.0 '4.4.0' 2. 윈도우 Mecab 설치 방법 1) C드라이브에 Mecab 폴더 생성 2) https://github.com/Pusn..

If using all scalar values, you must pass an index 에러, 해결

in getData(driver) 249 # print(f'{row} : title/view/date') 250 # df 로 만들어버리기 --> 251 data_df = pd.DataFrame({ 252 'title' : title, 253 'views' : view, 데이터프레임 내부에 리스트 값으로 변경해주면된다. 기존의 코드 # row = [title, view, date] # print(f'{row} : title/view/date') # df 로 만들어버리기 data_df = pd.DataFrame({ 'title' : title, 'views' : view, 'upload_dates' : date }) print(data_df) return data_df 해결했다.

VScode 에서 Jupyter notebook에 한국어 자연어 처리 KoNLy 와 형태소 분석기 McCab 세팅하기(설치)

================= OS : window 10 64bit 개발언어 : python 3.7.0 python 빌드 되어 커맨드 창에서 pip install 실행 가능 cpu : AMD Ryzen 7 3700X 8-Core Processor 3.59 GHz 램 : 24.0GB 그래픽 카드(gpu) : GeForce RTX 2060 SUPER ================= 1. 소개 KoNLPy KoNLPy(코엔엘파이)는 한국어 정보처리를 위한 파이썬 패키지 다양한 API(클래스)들이 존재 ( ※ KoNLPy의 Mecab() 클래스는 윈도우에서 지원 X) 2. 환경 세팅 자바와 JPype를 설치해야 한국어 자연어 처리 KoNLPy 사용이 가능하다 Java 1.7+ 설치 JAVA_HOME 환경변수 ..

1 columns passed, passed data had 44 columns 리스트 관련 에러

크롤링한 데이터를 리스트 형태로 반환해서 리스트로 이어붙이고 있었는데, 자꾸만 데이터프레임 형성해서 실패 오류가 생겼다. 알고보니 이중 리스트가 형성되어서 데이터프레임을 형성하지 못하고 있었던 것이었다. 즉, 이중 리스트로 데이터를 이어붙이지말고, 리스트 형태로 생성한 후에 for문에서 바로 df으로 만들어서 하단으로 댓글 데이터들을 쭉 이어서 붙이는 형태로 만들어야함을 알았다. def getCom(driver): #제목, 조회수, 댓글 가져오기 html = driver.page_source soup = BeautifulSoup(html,'html.parser') comments = [] try: # 키워드, 해당 댓글 전체 크롤링 5 - table 2 comm = soup.select('div#cont..

nltk pos_tag 종류

문장을 word_tokenize (토큰화)-> pos_tag(품사 분류) 를 통해 pos(품사)를 찾고, 문장 내에서 단어에 해당하는 품사를 태깅하여 알수 있다. 종류는 다음과 같다. import nltk nltk.download('punkt') from nltk import word_tokenize words = word_tokenize("Think like man of action and act like man of thought") words # 먼저 문장을 토큰화한 후에 포스 태그를 달면 된다 [nltk_data] Downloading package punkt to [nltk_data] C:\Users\AppData\Roaming\nltk_data... [nltk_data] Package punk..

python 가상환경 설치중에 vscode 에러 : Kernel process Exited

from keras.preprocessing.text import text_to_word_sequence sentence = 'Where there\'s a will, there\'s a way' text_to_word_sequence(sentence) 해당 코드를 3.8.8 파이썬 버전에서 사용하다가, 3.7 버전의 쿠다를 사용하기 위해 버전을 낮춰서 실행했더니 가상환경에 주피터 노트북이 없어서 새롭게 깔아야한다고 했는데, 다음과 같은 에러가 발생하였다. 해결방법 해결방법 conda install ipykernel --update-deps --force-reinstall 이란 코드를 터미널에서 실행시켜준다. 그러면 다음코드가 뜬다. ## Package Plan ## environment location..

RNN 구조 익히기

1. 몇 개의 단어를 통해서 RNN 구조를 익혀보자¶ In [1]: import numpy as np import pandas as pd import matplotlib.pyplot as plt 데이터셋 구축하기¶ 글자 하나하나 단위로 RNN 사용해보기 hello, apple, hobby, daddy, bobby In [2]: # 문제 데이터 : hell , appl, hobb, dadd, bobb # 총 4번 순환하는 단계로 진행됨 # 정답 데이터 : o, e, y, y # timestamps = 4 원 핫 인코딩으로 문자를 숫자로 변경¶ 문제 + 정답 전체 데이터에서 등장하는 문제는 h,e,l,o,a,p,b,y,d 총 9개 In [26]: a = ['hello', 'apple&#..

vscode에서 rtx 2060super 써먹어보기 (feat.gpu cuda를 좀써보자)

여담 난.. 그동안..gpu를 헛쓰고 있었다. cpu만 쓰고 있었다니. 좋은 컴퓨터를 냅두고 왜 활용을 잘 못하고 있을까... 한탄스럽다. 그래도 지금이라도 알았으니 얼마나 다행이랴. 가장 중요한 것은 글 마지막 하단에 설치버전 참조할것! 확대해서 보면, True라고 나오면서 지원이 되는 것처럼 보이지만, 실상은 아니다. 사용한 명령어 목록 import tensorflow as tf tf.__version__ # 설치된 tensorflow 버전 확인 tf.test.is_built_with_cuda() # 쿠다로 빌드되었는지 확인 tf.test.is_built_with_gpu_support() # cuda와 같은 gpu로 빌드되었는지 확인 tf.test.gpu_device_name() # 사용 가능한 gp..

crawling parrel processing

this is completed with just one virtual env. Not taking too much cpu memories

[백준]10798. 세로쓰기

총 다섯줄의 입력이 주어진다. 각 줄에는 최소 1개, 최대 15개의 글자들이 빈칸 없이 연속으로 주어진다. 주어지는 글자는 영어 대문자 ‘A’부터 ‘Z’, 영어 소문자 ‘a’부터 ‘z’, 숫자 ‘0’부터 ‘9’ 중 하나이다. 각 줄의 시작과 마지막에 빈칸은 없다. In [1]: # 세로 읽기 space = [] for row in range(5): row = [0] * 15 space.append(row) space Out[1]: [[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, ..