분류 전체보기

If using all scalar values, you must pass an index 에러, 해결

in getData(driver) 249 # print(f'{row} : title/view/date') 250 # df 로 만들어버리기 --> 251 data_df = pd.DataFrame({ 252 'title' : title, 253 'views' : view, 데이터프레임 내부에 리스트 값으로 변경해주면된다. 기존의 코드 # row = [title, view, date] # print(f'{row} : title/view/date') # df 로 만들어버리기 data_df = pd.DataFrame({ 'title' : title, 'views' : view, 'upload_dates' : date }) print(data_df) return data_df 해결했다.

VScode 에서 Jupyter notebook에 한국어 자연어 처리 KoNLy 와 형태소 분석기 McCab 세팅하기(설치)

================= OS : window 10 64bit 개발언어 : python 3.7.0 python 빌드 되어 커맨드 창에서 pip install 실행 가능 cpu : AMD Ryzen 7 3700X 8-Core Processor 3.59 GHz 램 : 24.0GB 그래픽 카드(gpu) : GeForce RTX 2060 SUPER ================= 1. 소개 KoNLPy KoNLPy(코엔엘파이)는 한국어 정보처리를 위한 파이썬 패키지 다양한 API(클래스)들이 존재 ( ※ KoNLPy의 Mecab() 클래스는 윈도우에서 지원 X) 2. 환경 세팅 자바와 JPype를 설치해야 한국어 자연어 처리 KoNLPy 사용이 가능하다 Java 1.7+ 설치 JAVA_HOME 환경변수 ..

1 columns passed, passed data had 44 columns 리스트 관련 에러

크롤링한 데이터를 리스트 형태로 반환해서 리스트로 이어붙이고 있었는데, 자꾸만 데이터프레임 형성해서 실패 오류가 생겼다. 알고보니 이중 리스트가 형성되어서 데이터프레임을 형성하지 못하고 있었던 것이었다. 즉, 이중 리스트로 데이터를 이어붙이지말고, 리스트 형태로 생성한 후에 for문에서 바로 df으로 만들어서 하단으로 댓글 데이터들을 쭉 이어서 붙이는 형태로 만들어야함을 알았다. def getCom(driver): #제목, 조회수, 댓글 가져오기 html = driver.page_source soup = BeautifulSoup(html,'html.parser') comments = [] try: # 키워드, 해당 댓글 전체 크롤링 5 - table 2 comm = soup.select('div#cont..

keras 관련 에러 : cannot import name 'get_config' from 'tensorflow.python.eager.context' - 미해결

무슨 에러일까? --------- ImportError: cannot import name 'get_config' from 'tensorflow.python.eager.context' (C:\anaconda\envs\forTensorflow\lib\site-packages\tensorflow_core\python\eager\context.py) ------ 방법구합니다

nltk pos_tag 종류

문장을 word_tokenize (토큰화)-> pos_tag(품사 분류) 를 통해 pos(품사)를 찾고, 문장 내에서 단어에 해당하는 품사를 태깅하여 알수 있다. 종류는 다음과 같다. import nltk nltk.download('punkt') from nltk import word_tokenize words = word_tokenize("Think like man of action and act like man of thought") words # 먼저 문장을 토큰화한 후에 포스 태그를 달면 된다 [nltk_data] Downloading package punkt to [nltk_data] C:\Users\AppData\Roaming\nltk_data... [nltk_data] Package punk..

python 가상환경 설치중에 vscode 에러 : Kernel process Exited

from keras.preprocessing.text import text_to_word_sequence sentence = 'Where there\'s a will, there\'s a way' text_to_word_sequence(sentence) 해당 코드를 3.8.8 파이썬 버전에서 사용하다가, 3.7 버전의 쿠다를 사용하기 위해 버전을 낮춰서 실행했더니 가상환경에 주피터 노트북이 없어서 새롭게 깔아야한다고 했는데, 다음과 같은 에러가 발생하였다. 해결방법 해결방법 conda install ipykernel --update-deps --force-reinstall 이란 코드를 터미널에서 실행시켜준다. 그러면 다음코드가 뜬다. ## Package Plan ## environment location..

RNN 구조 익히기

1. 몇 개의 단어를 통해서 RNN 구조를 익혀보자¶ In [1]: import numpy as np import pandas as pd import matplotlib.pyplot as plt 데이터셋 구축하기¶ 글자 하나하나 단위로 RNN 사용해보기 hello, apple, hobby, daddy, bobby In [2]: # 문제 데이터 : hell , appl, hobb, dadd, bobb # 총 4번 순환하는 단계로 진행됨 # 정답 데이터 : o, e, y, y # timestamps = 4 원 핫 인코딩으로 문자를 숫자로 변경¶ 문제 + 정답 전체 데이터에서 등장하는 문제는 h,e,l,o,a,p,b,y,d 총 9개 In [26]: a = ['hello', 'apple&#..

vscode에서 rtx 2060super 써먹어보기 (feat.gpu cuda를 좀써보자)

여담 난.. 그동안..gpu를 헛쓰고 있었다. cpu만 쓰고 있었다니. 좋은 컴퓨터를 냅두고 왜 활용을 잘 못하고 있을까... 한탄스럽다. 그래도 지금이라도 알았으니 얼마나 다행이랴. 가장 중요한 것은 글 마지막 하단에 설치버전 참조할것! 확대해서 보면, True라고 나오면서 지원이 되는 것처럼 보이지만, 실상은 아니다. 사용한 명령어 목록 import tensorflow as tf tf.__version__ # 설치된 tensorflow 버전 확인 tf.test.is_built_with_cuda() # 쿠다로 빌드되었는지 확인 tf.test.is_built_with_gpu_support() # cuda와 같은 gpu로 빌드되었는지 확인 tf.test.gpu_device_name() # 사용 가능한 gp..

KNN 자동차 분류 및 예측

추천서비스를 knn을 활용하여 기획하고 있다. 관련 코드를 작성해보았고, 해석을 진행해보겠다. 0. 데이터와 레이블로 나눔 분류기준은 자체적으로 만들어보았다. 앞의 head 부분만 print(dtm.iloc[0:5]) 해보면 다음과 같은 출력 값이 나온다. 0 Pricist 1 Proud Patrons 2 Camper 3 Proud Patrons 4 Pricist Name: class, dtype: object 등등. # class 분류 기준 - 5가지 # Elitist : 차는 그 저 차라고 생각하는 부류 # Proud Patrons : 자동차가 자산의 노력에 대한 result이거나 관심을 받고 싶어하는 관종의 부류 # Camper : Camping을 즐기기너 큰 덩치의 차량을 좋아하는 부류 # Fan..

추천 알고리즘

배경 차량의 선호도와 실제 구매하려는 차량과의 상관관계가 존재함을 확인하였고, 개인별 취향에 따라 차량 추천에서 나아가 차량별 특정 연령대의 선호도, SNS 상에서의 언급 빈도 등에 대한 분석이 가능하였다. 조건부 연산을 활용하고, 알고리즘에 사용하는 요소를 보다 세분화하여 추천 정확도 향상을 도모하였다. 어떤 점을 바탕으로 차량을 추천하고, 가중치를 어떻게 줘서 추천 알고리즘을 고안할 것인지 준비가 필요하다. 1. hadoop 2. mapreduce 3. r 4.피어슨 상관계수 5.필터링 알고리즘 6.시스템 아키텍처 7.알고리즘 순서도 8.알고리즘 의사코드 9.데이터 적재,가공,코드 데이터 추출, 알고리즘 구현 1. hadoop Apache Hadoop 은 빅데이터 처리를 위한 다수의 컴퓨터 클러스터에..