2026年完美指南：关于Akamai绕过的一切

 탐지되는 패턴:
- User-Agent가 없거나 비정상적인 값
- Accept-Language, Accept-Encoding 등 필수 헤더 누락
- 헤더 순서가 실제 브라우저와 다름
- TLS 지문(JA3/JA4 해시)이 봇 도구의 패턴과 일치

import requests
from bs4 import BeautifulSoup

url = "https://www.coupang.com/vp/products/12345678"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                  "AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
print(response.status_code)  # 403 Forbidden
print(len(response.text))     # 빈 HTML 또는 챌린지 페이지

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--headless")  # ← 이것부터 문제
driver = webdriver.Chrome(options=options)
driver.get("https://www.coupang.com/vp/products/12345678")
# → Akamai 챌린지 페이지 또는 무한 로딩

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)  # Headed 모드
    context = browser.new_context()
    page = context.new_page()
    page.goto("https://www.coupang.com/vp/products/12345678")
    # 가끔 성공 → 그러나 10회 중 3~4회만 통과

# settings.py
ROTATING_PROXY_LIST = [...]
DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
}

1. Playwright 또는 Puppeteer + Stealth 플러그인
2. 주거용(Residential) 프록시 풀 — 한국 IP 필수
3. 브라우저 지문 위장 (fingerprint randomization)
4. 행동 시뮬레이션 (마우스 궤적, 키보드, 스크롤)
5. 캡챠 풀이 서비스 연동 (2Captcha, CapSolver 등)
6. 분산 실행 인프라 (Docker + 작업 큐)
7. 모니터링 & 자동 복구 시스템

#  교육 목적 예시입니다. 실제 대규모 수집에는 부족합니다.

import asyncio
from playwright.async_api import async_playwright
import random

async def scrape_coupang_product(product_url: str):
    async with async_playwright() as p:
        # Headed 모드로 실행 (Headless는 거의 항상 차단됨)
        browser = await p.chromium.launch(
            headless=False,
            args=[
                '--disable-blink-features=AutomationControlled',
                '--disable-dev-shm-usage',
                '--no-sandbox',
            ]
        )

        # 실제 브라우저와 유사한 컨텍스트 설정
        context = await browser.new_context(
            viewport={'width': 1920, 'height': 1080},
            user_agent=(
                'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) '
                'AppleWebKit/537.36 (KHTML, like Gecko) '
                'Chrome/121.0.0.0 Safari/537.36'
            ),
            locale='ko-KR',
            timezone_id='Asia/Seoul',
        )

        # navigator.webdriver 제거
        await context.add_init_script("""
            Object.defineProperty(navigator, 'webdriver', {
                get: () => undefined
            });
        """)

        page = await context.new_page()

        # 1단계: 메인 페이지에서 시작 (직접 URL보다 탐지 회피율 높음)
        await page.goto('https://www.coupang.com', wait_until='networkidle')
        await asyncio.sleep(random.uniform(3, 6))  # 사람처럼 대기

        # 2단계: 검색으로 자연스럽게 진입
        search_box = page.locator('input[name="q"]')
        await search_box.click()
        await asyncio.sleep(random.uniform(0.5, 1.5))

        # 사람처럼 한 글자씩 타이핑
        keyword = "노트북"
        for char in keyword:
            await page.keyboard.type(char, delay=random.randint(80, 200))
            await asyncio.sleep(random.uniform(0.05, 0.15))

        await asyncio.sleep(random.uniform(1, 2))
        await page.keyboard.press("Enter")
        await page.wait_for_load_state('networkidle')
        await asyncio.sleep(random.uniform(2, 4))

        # 3단계: 스크롤 시뮬레이션 (사람처럼 불규칙하게)
        for _ in range(random.randint(2, 5)):
            scroll_amount = random.randint(200, 600)
            await page.mouse.wheel(0, scroll_amount)
            await asyncio.sleep(random.uniform(0.5, 2.0))

        # 4단계: 상품 정보 추출
        title = await page.text_content('.prod-buy-header__title')
        price = await page.text_content('.total-price strong')

        print(f"상품명: {title}")
        print(f"가격: {price}")

        await browser.close()

# 실행
asyncio.run(scrape_coupang_product("https://www.coupang.com/vp/products/12345678"))

import requests

# Bright Data Scraping Browser API
response = requests.post(
    "https://api.brightdata.com/request",
    headers={"Authorization": "Bearer YOUR_TOKEN"},
    json={
        "zone": "scraping_browser",
        "url": "https://www.coupang.com/vp/products/12345678",
        "format": "raw"
    }
)

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="fc-YOUR-KEY")
result = app.scrape_url(
    "https://www.coupang.com/vp/products/12345678",
    params={"formats": ["markdown"]}
)