유튜브 사이트 크롤링(링크, href)

핵심 : 

select 로 정보를 가져올 때, 요소 값은 리스트로 반환이됨!!

 

유튜브 href 사이트 링크 크롤링 하기

요소의 속성 가져오기

셀레늄 이용

drver.find_element_by_xpath 에서

url1 = driver.find_element_by_xpath('/html/body/ytd-app/div/ytd-page-manager/ytd-search/div[1]/ytd-two-column-search-results-renderer/div/ytd-section-list-renderer/div[2]/ytd-item-section-renderer[1]/div[3]/ytd-video-renderer[1]/div[1]/div/div[1]/div/h3/a')
url1.get_attribute('href')

결과

'https://www.youtube.com/watch?v=RL5oHFPxQE0'

 

사용하면 안되는 코드

 

 

---

# 뷰티풀수프로 크롤링 수행
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

aa = soup.select('#title-wrapper > h3 a')

for a in aa:
    print(a['href'])

---

하나씩 값을 불러와서 리스트 값인지, 요소로 불러와야하는지 파악하기

soup.select('#container > h1')

결과

[<h1 class="title style-scope ytd-video-primary-info-renderer">
<yt-formatted-string class="style-scope ytd-video-primary-info-renderer"
force-default-style="">Kia EV6 | Iris 20"</yt-formatted-string></h1>]

 

코드 2

soup.select('#container > h1')[0]

결과

<h1 class="title style-scope ytd-video-primary-info-renderer">
<yt-formatted-string class="style-scope ytd-video-primary-info-renderer" force-default-style="">
Kia EV6 | Iris 20"</yt-formatted-string></h1>