데이터 수집 고수들만이 알고 있는 최강 크롤링 비법 대공개! undetected_chromedriver에 대해서

0.undetected_chromdriver란 무엇인가?

1. 설치 및 사용법

pip install undetected-chromedriver

import undetected_chromedriver as uc
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from fake_useragent import UserAgent
from selenium_stealth import stealth
from selenium.webdriver.chrome.service import Service

options = uc.ChromeOptions()

• 다양한 옵션들

# 팝업 차단을 활성화합니다.
options.add_argument('--disable-popup-blocking')


# WebDriver 객체 생성
driver = uc.Chrome( options = options,enable_cdp_events=True,incognito=True)

# selenium_stealth 설정
stealth(driver,
        vendor="Google Inc. ",
        platform="Win32",
        webgl_vendor="intel Inc. ",
        renderer= "Intel Iris OpenGL Engine",
        fix_hairline=True,
        )


options.add_argument('--remote-debugging-port=9222')

# 웹사이트 방문
# driver.get('[원하는 웹사이트 방문]')

# 대기 시간 설정 => 대기 시간을 설정하여, html이 렌더링 되는 시간을 벌어줍니다.
driver.implicitly_wait(2)

# 자바스크립트 코드 실행
driver.execute_script("Object.defineProperty(navigator, 'plugins', {get: function() {return[1, 2, 3, 4, 5];},});")

• fake_useragent를 사용하여 매 실행마다 다른 사용자 에이전트 문자열을 사용하는 것은 좋은 방법입니다. 이를 통해 브라우저를 식별하는 데 일반적으로 사용되는 정보를 변경할 수 있습니다.

• selenium_stealth를 사용하여 일부 사이트가 웹 스크래퍼를 감지하는데 사용하는 몇 가지 특성을 마스킹할 수 있습니다.

• driver.execute_script()를 사용하여 자바스크립트 코드를 실행하여 navigator.plugins 속성을 재정의하는 방법입니다. 이를 통해 웹사이트가 스크래퍼를 감지하는 또 다른 방법을 차단할 수 있습니다.

• driver.delete_all_cookies()를 사용하여 모든 쿠키를 삭제하는 것은 웹사이트가 이전 방문을 추적하는 것을 막는 데 도움이 될 수 있습니다.

try:
    driver.find_elements(By.XPATH, "//div[@class='lister__item__inner']/a")[8].click()
    driver.implicitly_wait(2)
    driver.delete_all_cookies()
    driver.execute_script("Object.defineProperty(navigator, 'plugins', {get: function() {return[1, 2, 3, 4, 5];},});")
except:
    print("치단당함")

2.기존 ChromeDriver와 undetected_chromedriver의 주요 차이점

3. 결론