Python 웹크롤링

# request 라이브러리 , 원하는 페이지의 정보를 가져와주는 라이브러리
import requests as req
res =req.get("http://www.naver.com")
# <Response 200> : success / <Response 406> : 실패됨
res
# 텍스트로 내용을 표현하는데, '~~~' 전체 데이터가 하나에 들어가 있다.
res.text
# Melon 사이트의 정보를 받아오기
req.get("https://www.melon.com/")
# 사이트 접근 실패시, 사람이 접근한 것 처럼 속이는 작업 header 작업을 해야한다.
# f12 > network > document 타입에서 "user-agent" 를 찾는다.

head = {"User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"}

res = req.get("https://www.melon.com/", headers = head)
res.text

# 네이버에서 원하는 글 가져오기
res = req.get("http://www.nave.com")
naver = res.text

# beautiful soup 라이브러리 이용하기, 하나의 문장(html)을 태그별로 쪼개준다.
from bs4 import BeautifulSoup as bs
soup = bs(naver, "lxml")

# find_all("어떤 태그","구분자")
# html 데이터에서 내가 필요한 태그들을 뽑아오는 기능
# class 같은 경우 : class_ 로 표현한다.
data = soup.find_all("a", class_ = "nav")

# find_all을 이용하면 리스트 형태로 내용을 뽑는다
data[0].text

# 리스트 전체 내용 뽑기
for content in data:
    print(content.text)
    
# 네이버에서 뉴스 타이틀만 가져오기 , url 가져오기(성공여부) -> text -> bs -> find_all
res = req.get("https://search.naver.com/search.naver?where=nexearch&sm=top_sug.pre&fbm=1&acr=1&acq=%EC%BD%94%EB%A1%9C%EB%82%98&qdt=0&ie=utf8&query=%EC%BD%94%EB%A1%9C%EB%82%98") 
data = res.text
soup = bs(data, "lxml")
news = soup.find_all("a", class_ ="news_tit")
for i in news:
    print(i.text)

# Melon Top100 수집
import requests as req # r,e,q 만 가져오기
from bs4 import BeautifulSoup as bs # B, S 가 대문자
url = "https://www.melon.com/chart/index.htm"
req.get(url)

#서버 접근 실패시
head = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"}
res = req.get("https://www.melon.com/chart/index.htm", headers = head) # res 로 성공여부 가져오기
melon = res.text
soup = bs(melon, "lxml")

# select 문을 이용해서 가져오기
singer = soup.select("div.ellipsis.rank02 > span.checkEllipsis")
print(len(singer))

# 가져온 데이터 길이 확인하기
song = soup.select("div.ellipsis.rank01 > span ")
print(len(song))

# 출력해보기, 순수한 텍스트정보만 갖니고 있는 새로운 리스트 만들기
# 요소가 필요한게 아니고, 순수한 텍스트 정보만
song_list = []
singer_list = []
rank_list = []

for i in range(len(song)):
    song_list.append(song[i].text.strip())
    sing_list.append(singer[i].text.strip())
    rank_list.append(i+1)

# 데이터를 표로 확인해보고, 데이터를 파일로 저장하기
import pandas as pd

# 컬럼과 데이터 구조를 가진 딕셔너리 생성
info = {"가수" : singer_list , "노래" : song_list, "순위" : rank_list}

music_pd = pd.DataFrame(info)

# 딕셔너리 > 데이터 프레임 > csv
encoding = "" / encoding = "euc-kr" / encoding = "utf-8-sig"
music_pd.to_csv("melon.csv", encoding = "utf-8-sig")

# @영화랭킹 페이지에서 제목 평점 수집

res = req.get("https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&date=20210908")
movie = res.text
soup = bs(movie, "lxml")
rate = soup.select("td.point") # 태그와 클래스로 접근
print(len(rate))

# 영화 제목, 평점 수집
title = soup.select("div.tit5 > a")
print(len(title))

title_list = []
rate_list = []
rank_list = []

# 전체 개수로 내용을 판단하기
for i in range(len(title_list)):
    title_list.append(title[i].text.strip())
    rate_list.append(rate[i].text.strip())
    rank_list.append(i+1)

dic = {"순위" : rank_list , "영화제목": title_list, "평점": rate_list}
movie_pd = pd.DataFrame(dic)
movie_pd.set_index("순위", inplace = True)

# html 로도 표현할 수 있음
movie_pd.to_html("movie.html")

# @영화 관람객 리뷰 수집
import requests as req
from bs4 import BeautifulSoup as bs

res = req.get("https://movie.naver.com/movie/bi/mi/pointWriteFormList.naver?code=192150&type=after&isActualPointWriteExecute=false&isMileageSubscriptionAlready=false&isMileageSubscriptionReject=false")
movie = res.text
soup = bs(movie, "lxml")

# 리뷰 데이터 수집 , 전처리 과정 중에 불필요한 데이터인 삭제하는 방법, 분류해주기
review = soup.select("div.score_reple > p")
print(len(review))

for i in reqview:
    print(i.text.strip())

# 삭제하는 방법 & 불필요한 관람객 부분만 삭제

viewer = soup.select("span.ico_viewer")

for i in viewer:
    i.extract()

for i in review:
    print(i.text.strip())

    
# 반복문의 진행상황을 체크해주는 라이브러리 ★★
from tqdm import tqdm_notebook as tq

# for문에서 tq를 설정하면 진행 상황을 알 수 있다,페이지별로 모든 데이터 가져오기
# url +  i 해주는 방법

for i in tq(range(1,11)):
    res = req.get("https://movie.naver.com/movie/bi/mi/pointWriteFormList.naver?code=192150&type=after&isActualPointWriteExecute=false&isMileageSubscriptionAlready=false&isMileageSubscriptionReject=false&page="+str(i))
    movie = res.text
    soup = bs(movie, "lxml")
    viewer = soup.select("span.ico_viewer")
    review = soup.select("div.score_reple > p")
    for i in viewer:
        i.extract()
    for i in review:
        print(i.text.strip())
        
# @@웹크롤링 기법 : 셀레늄 라이브러리(컴퓨터가 컴퓨터를 제어). 먼저 가져오기
# 기본으로 내장되어 있는 라이브러리가 아니기 때문에 설치가 필요하다!
!pip install selenium

# webdriver = 브라우저를 제어하는 라이브러리
# Keys 컴퓨터에게 키보드의 역할을 해주는 라이브러리
from selenium import webdriver as wb
from selenium.webdriver.common.keys import Keys

driver = wb.Chrome()
driver.get("http://www.naver.com")

# 컴퓨터에게 중간중간 쉬는 시간 부여
# 서버의 과부하를 막기 위해서
import time
driver = wb.Chorome()
time.sleep(0.5)
driver.get("http://www.naver.com")

# driver 가 사용할 수 있는 기능들 나열하기, 현재 화면에서 가져오기
# driver.page_source : 현재 화면의 정보를 가져오기
# driver.find_element_by_id("~~~") : id 정보를 가져오기
# driver.find_element_by_css_selector : css 정보를 가져오는 것. 버튼은 css로??
# driver.find_element_by_tag_name : tag 가져오기

inputArea = driver.find_element_by_id("query")
inputArea.send_keys("추석")

# 엔터치는 방식
inputArea.send_keys("추석")

# 엔터치는 방법
inputArea.send_keys(Keys.ENTER)

# 검색 버튼을 클릭하는 방법
driver.find_element_by_css_selector("button.search_btn > a")
btn = driver.find_element_by_id("search_btn")
btn.click()

driver.find
driver.quit()

# selenium 데이터 가져오기, 나가는방법
# 
soup = bs(driver.page_source, 'lxml')
result = soup.select('.holi_txt')

result[0].text

# @유튜브에서 제목, 조회수 가져오기
from selenium import webdriver as wb
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup as bs
import pandas as pd
import time

url = 'https://www.youtube.com/user/rladndgussla/videos'
driver = wb.Chrome()
driver.get(url)

body = driver.find_element_by_tag_name('body')

# 스크롤바 내리기

for i in range(30):
    body.send_keys(Keys.PAGE_DOWN)
    time.sleep(0.5)

soup = bs(driver.page_source, 'lxml')

title = soup.select('#vide-title') # id를 가져오기
search = soup.select('#metadata-line > span:nth-child(1)')

title_list = []
search_list = []
rank_list = []

for i in range(len(title)):
    title_list.append(title[i].text)
    search_list.append(search[i].text)
    rank_list.append(i+1)
    
print(len(title_list))
print(len(search_list))
print(len(rank_list))

dic = {'제목' : title_list, '조회수' : search_list, '순위' : rank_list}
df = pd.DataFrame(dic)

df.set_index('순위', inplace = True)

# @이미지 크롤링
import os # 파일 시스템을 위한 라이브러리, ex) 파일, 폴더를 생성, 삭제, 존재여부
from urllib.request import urlretrieve

# 폴더 생성, python 의 경우 : 주소 간격 \ 쓰면 X, 바로 / 써야한다.

if not os.path.isdir('C:/Users/smhrd/test_study/img'):
    # 해당 위치에 파일이 없으면 생성하기
    os.mkdir('C:/Users/smhrd/test_study/img')
    print("폴더를 생성")
    
    
url = 'https://search.naver.com/search.naver?where=image&sm=tab_jum&query=%EC%95%84%EC%9D%B4%EC%9C%A0'
driver = wb.Chrome()
driver.get(url)

body = drvier.find_element_by_tag_name('body')

for i in range(30):
    body.send_keys(Keys.PAGE_DOWN)
    time.sleep(0.5)

soup = bs(driver.page_source, 'lxml')

img = soup.select('img._image._listImage')
# 출처 위치 가져오기
img[25]['src']

# 전체 이미지 가져오기(★★★)
img_list = []

for i in img:
    try:
        img_list.append(i['data-lazy-src'])
    except:
        img_list.append(i['src'])

img_list

cnt = 1

# image는 url로표현된 것을, 이미지 형식을 가져와 > 폴더에 jpg 형식으로 담는다
for i in img_list:
    urlretrieve(i, 'C:/Users/SM210715/크롤링/img/'+ str(cnt) + '.jpg')
    cnt += 1
    
img_list = []

# 한솥도시락 이름, 가격 정보 수집

driver = wb.Chrome()
driver.get("https://www.hsd.co.kr/menu/menu_list#none")
soup = bs(driver.page_source,"lxml")

title = soup.select("h4.h.fz_03")

#상품의 가격만!
price = soup.select("div.item-price > strong")

# 더보기 버튼 클릭
btn_more = driver.find_element_by_css_selector("#btn_more > span > a")

try :
    for i in range(10) :
        btn_more.click()
        time.sleep(2)
except:
    print("더보기가 존재 하지 않습니다!")

# Gmarket top 10 수집

driver = wb.Chrome()
driver.get("http://corners.gmarket.co.kr/Bestsellers")
div = driver.find_element_by_css_selector("p#no1 + span + div")
div.click()
#상품명
driver.find_element_by_css_selector("h1.itemtit").text
# 가격정보!
driver.find_element_by_css_selector("strong.price_real").text
#카테고리!
driver.find_element_by_css_selector("li.on > a").text

#뒤로가기
driver.back()

title_list = []
price_list = []
cate_list = []

driver = wb.Chrome()
driver.get("http://corners.gmarket.co.kr/Bestsellers")

for i in range(1,6) :
    div = driver.find_element_by_css_selector("p#no"+str(i)+"+ span + div")
    div.click()
    time.sleep(1)
    title_list.append(driver.find_element_by_css_selector("h1.itemtit").text) 
    price_list.append(driver.find_element_by_css_selector("strong.price_real").text)
    cate_list.append(driver.find_element_by_css_selector("li.on > a").text)
    time.sleep(0.5)
    driver.back()
    time.sleep(1)

drive.quit()

# 마지막 pd 정리

dic = {"상품명" : title_list , "가격" : price_list, "카테고리" : cate_list}
pd.DataFrame(dic)