1 columns passed, passed data had 44 columns 리스트 관련 에러

크롤링한 데이터를 리스트 형태로 반환해서 리스트로 이어붙이고 있었는데, 자꾸만 데이터프레임 형성해서 실패 오류가 생겼다.

 

알고보니 이중 리스트가 형성되어서 데이터프레임을 형성하지 못하고 있었던 것이었다.

 

https://ssung-22.tistory.com/5

즉, 이중 리스트로 데이터를 이어붙이지말고, 리스트 형태로 생성한 후에 for문에서 바로 df으로 만들어서 하단으로 댓글 데이터들을 쭉 이어서 붙이는 형태로 만들어야함을 알았다.

 

def getCom(driver):
    #제목, 조회수, 댓글 가져오기
    html = driver.page_source
    soup = BeautifulSoup(html,'html.parser')
    comments = []
    try:
        # 키워드, 해당 댓글 전체 크롤링 5 - table 2
        comm = soup.select('div#content div.comment_view p')
        
        for i in comm:
            comments.append(i.text.strip().replace('첫댓글','').replace('비밀글','').replace('삭제된 댓글 입니다.','').strip())
        
        comment_df = pd.DataFrame({'comment' : comments})
        print('키워드에 따른 댓글 전체 크롤링 성공 : Table2')
    except:
        print('키워드에 따른 댓글 전체 크롤링 실패 : Table2')
        pass
    return comment_df

즉 다음과 같이 dataframe 으로 반환해서

 

 

이렇게 df으로 계속 병합해서, 

# csv 로 만들기
try:
        table1.to_csv(directory_table1,index=False, encoding='utf-8-sig')
        table2.to_csv(directory_table2,index=False, encoding='utf-8-sig')
        print('테이블 csv로 저장하기 성공')
except:
        print('테이블 csv로 만들기 실패')
        pass

다음과 같이 csv 형태로 저장하니, 시간이 지날때마다 계속 축적된 내용을 csv 형태로 확인할 수 있어서 좋고, 중간에 에러가 뜬다해도 그 부분부터 다시 디버깅을 해도 되니 횔씬 효율적이다.

 

해결완료