Guide complet de l'initiation au web scraping avec Python 2026

"Vérifiez manuellement les prix de 3 000 produits chaque jour." - Personne ne peut être bien en entendant cela. En fait, de nombreuses entreprises de commerce électronique en Corée automatisent cette tâche en utilisant simplement le scraping Python, et le processus est étonnamment simple. Dans cet article, nous avons résumé les bases du web scraping, des problèmes réels auxquels vous pourriez être confrontés sur le terrain, avec du code réel en action.

Table des matières

1. Qu'est-ce que le web scraping ?
2. Scraping de base avec Python - requests + BeautifulSoup
3. Scraping de pages dynamiques - Selenium et Playwright
4. Problèmes courants lors du scraping
5. Scraping et problèmes juridiques - Ce que vous devez savoir
6. La réalité du scraping à grande échelle - L'enfer de la maintenance
7. Créer soi-même ou utiliser un service professionnel - Quand choisir quoi ?

Qu'est-ce que le web scraping ?

Le web scraping (ou extraction de données web) est une technique où un programme visite automatiquement des pages web pour extraire des données spécifiques. On l'appelle aussi web scraping et dans la pratique, ces deux termes sont presque interchangeables.

[Schéma de base du web scraping : Requête HTTP → Réception HTML → Analyse → Extraction de données → Stockage](images/seo1-crawling-flow.png)

À quoi cela peut-il servir ? Les applications sont variées :

• Surveillance des prix - Collecte automatique quotidienne des prix de 3 000 produits de boutiques concurrentes pour suivre les prix les plus bas.
• Études de marché - Collecte des informations sur les produits, les avis et les évaluations de sites comme Naver Shopping, Coupang, etc.
• Génération de leads - Collecte en masse de contacts de clients potentiels et d'informations sur les entreprises pour une utilisation commerciale.
• Surveillance de contenu - Suivi en temps réel de mots-clés spécifiques sur les actualités, les réseaux sociaux et les communautés en ligne.
• Analyse de données - Construction de grands ensembles de données tels que les prix immobiliers, les offres d'emploi, les données académiques, etc.

La raison pour laquelle Python est largement utilisé pour le scraping est claire. Les bibliothèques telles que BeautifulSoup, Selenium, Playwright sont riches et la syntaxe est intuitive, ce qui permet de créer rapidement des prototypes.

Scraping de base avec Python - requests + BeautifulSoup

C'est la combinaison la plus basique. Utilisez requests pour récupérer le HTML et BeautifulSoup pour analyser les données souhaitées. Cela suffit pour les pages HTML statiques.

Installation

pip install requests beautifulsoup4

Exemple de base : Collecte de titres de news

import requests
from bs4 import BeautifulSoup

# 1. 웹 페이지 HTML 가져오기
#    requests.get()으로 HTTP GET 요청을 보냅니다
url = "https://news.ycombinator.com/"

# 2. User-Agent 헤더 설정
#    헤더 없이 요청하면 봇으로 판단해 차단하는 사이트가 많습니다
#    실제 브라우저처럼 보이도록 User-Agent를 설정합니다
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(url, headers=headers)
# response.raise_for_status()  # HTTP 에러 시 예외 발생 (선택)

# 3. BeautifulSoup으로 HTML 파싱
#    html.parser는 파이썬 내장 파서 — 별도 설치 불필요
soup = BeautifulSoup(response.text, "html.parser")

# 4. CSS 선택자로 원하는 요소 추출
#    .titleline > a → class="titleline" 하위의 <a> 태그 (뉴스 제목 + 링크)
titles = soup.select(".titleline > a")
for i, title in enumerate(titles, 1):
    print(f"{i}. {title.text}")
    print(f"   링크: {title['href']}")

Avec ces 20 lignes de code, vous pouvez collecter tous les titres et liens de Hacker News. C'est pourquoi on dit que la barrière à l'entrée du web scraping en Python est si basse.

Scraping de plusieurs pages (pagination)

En pratique, vous ne collecterez pas seulement une seule page. Connaître le schéma de pagination vous permettra de l'appliquer à la plupart des sites de type liste.

import requests
from bs4 import BeautifulSoup
import time

# 페이지 번호를 URL에 넣는 패턴 — 대부분의 리스트 페이지가 이 구조
base_url = "https://example-blog.com/posts?page={}"
all_posts = []

for page in range(1, 11):  # 1~10페이지 순회
    response = requests.get(base_url.format(page), headers=headers)
    soup = BeautifulSoup(response.text, "html.parser")

    # 각 게시글 카드에서 제목, 날짜, URL 추출
    posts = soup.select(".post-item")
    for post in posts:
        all_posts.append({
            "title": post.select_one(".post-title").text.strip(),
            "date": post.select_one(".post-date").text.strip(),
            "url": post.select_one("a")["href"]
        })

    # 서버 부하 방지를 위한 요청 간격 설정
    # 1초도 짧을 수 있음 — 대상 사이트 robots.txt의 Crawl-delay 확인 권장
    time.sleep(1)

print(f"총 {len(all_posts)}개 포스트 수집 완료")

Astuce : Respecter un intervalle de temps entre les requêtes avec time.sleep() est une étiquette de base du web scraping. Des requêtes trop rapides peuvent surcharger le serveur et entraîner un blocage IP. En général, un intervalle de 1 à 3 secondes est sûr.

Scraping de pages dynamiques - Selenium et Playwright

De nos jours, de nombreux sites web rendent leur contenu avec JavaScript. Pour les applications à page unique (SPA) basées sur React, Vue, Next.js, même si vous récupérez le HTML avec requests, vous ne verrez que le vide <div id="root"></div> car les données sont chargées après l'exécution du JavaScript.

Dans de tels cas, vous avez besoin d'outils d'automatisation de navigateur. Ils lancent réellement le navigateur, exécutent le JavaScript, puis extraient les données du résultat rendu.

[Comparaison du scraping statique et dynamique : requests reçoit uniquement l'HTML du serveur, Selenium/Playwright accèdent au DOM après le rendu JS](images/seo1-static-vs-dynamic.png)

Exemple de scraping avec Selenium

Selenium est un outil de base pour l'automatisation du navigateur, avec une abondance de ressources liées au scraping.

pip install selenium

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 1. 크롬 브라우저를 헤드리스(화면 없이) 모드로 실행
#    서버 환경에서는 화면이 없으므로 헤드리스 모드 필수
options = webdriver.ChromeOptions()
options.add_argument("--headless=new")
driver = webdriver.Chrome(options=options)

try:
    # 2. 대상 페이지 접속
    driver.get("https://example-spa.com/products")

    # 3. JavaScript 렌더링이 끝날 때까지 최대 10초 대기
    #    WebDriverWait는 요소가 나타나면 즉시 다음 단계로 진행
    #    10초 안에 안 나타나면 TimeoutException 발생
    WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".product-card"))
    )

    # 4. 렌더링된 DOM에서 데이터 추출
    products = driver.find_elements(By.CSS_SELECTOR, ".product-card")
    for product in products:
        name = product.find_element(By.CSS_SELECTOR, ".product-name").text
        price = product.find_element(By.CSS_SELECTOR, ".product-price").text
        print(f"{name}: {price}")
finally:
    # 5. 브라우저 종료 — 안 닫으면 메모리 누수 발생
    driver.quit()

Exemple de scraping avec Playwright (recommandé pour 2026)

Playwright est une bibliothèque d'automatisation de navigateur de nouvelle génération développée par Microsoft. Plus rapide et plus stable que Selenium, elle intègre une fonction d'attente automatique qui élimine la nécessité de code boilerplate comme WebDriverWait. En 2026, pour un nouveau projet, Playwright est recommandé.

pip install playwright
playwright install chromium  # 브라우저 바이너리 자동 다운로드

from playwright.sync_api import sync_playwright

# Playwright는 컨텍스트 매니저로 리소스를 자동 관리
with sync_playwright() as p:
    # 1. Chromium 브라우저를 헤드리스 모드로 실행
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()

    # 2. 대상 페이지 접속
    page.goto("https://example-spa.com/products")

    # 3. Playwright는 자동으로 요소가 나타날 때까지 대기
    #    별도의 WebDriverWait 코드가 필요 없음 — 훨씬 깔끔합니다
    cards = page.locator(".product-card").all()

    for card in cards:
        name = card.locator(".product-name").text_content()
        price = card.locator(".product-price").text_content()
        print(f"{name}: {price}")

    # 4. 브라우저 종료
    browser.close()

Selenium vs Playwright - Lequel choisir ?

[Infographie comparative de Selenium vs Playwright](images/seo1-selenium-vs-playwright.png)

Problèmes courants lors du scraping

Après avoir lu jusqu'ici, vous pourriez penser que le scraping n'est pas si difficile. Cependant, en pratique, le scraping en Python présente des problèmes bien plus complexes que la simple écriture de code. Nous avons répertorié cinq problèmes courants rencontrés par la plupart des développeurs lors de la création de leur premier scraper.

1. Blocage IP

La plupart des sites bloquent les requêtes répétées provenant de la même IP. Les méthodes de contournement incluent la rotation de proxy et le réglage de l'intervalle entre les requêtes, mais le coût est un problème. Les proxies résidentiels de qualité coûtent entre 5 et 15 dollars par Go, avec des tarifs mensuels de base à partir de 50 à 500 dollars. En ajoutant la surveillance de la qualité des proxies et le remplacement des IP bloquées, les coûts ne sont pas négligeables.

2. CAPTCHA et détection de bots

Cloudflare, PerimeterX, Akamai Bot Manager, DataDome - les solutions de protection contre les bots deviennent de plus en plus sophistiquées chaque année. reCAPTCHA v3 analyse les mouvements de souris, les schémas de défilement et la vitesse de frappe. Les services de résolution de CAPTCHA (comme 2Captcha) coûtent entre 1 et 5 centimes par résolution (selon le type), mais 100 000 résolutions par jour peuvent coûter plus de 6 millions de wons par mois. La gestion de la vitesse, de la réussite et des coûts n'est pas une tâche facile.

3. Rendu dynamique et défilement infini

Le nombre de sites nécessitant un rendu JavaScript ne cesse d'augmenter. Puisque vous devez lancer une instance de navigateur, chaque page consomme 300 à 500 Mo de mémoire et est 5 à 10 fois plus lente que le scraping statique. Pour exécuter 50 navigateurs en parallèle, un serveur avec au moins 16 Go de RAM est nécessaire, entraînant des coûts d'infrastructure cloud d'environ 150 000 à 300 000 wons par mois.

4. Changement de structure du site

Si le site que vous scrapez change de design ou de structure HTML, votre scraper sera immédiatement cassé. Les sites actifs changent de structure environ tous les 2 à 3 mois. Vous devez maintenir en permanence un cycle de détection de changement, de modification du code, de test et de déploiement. Si vous avez 20 sites cibles, cela signifie 80 à 120 maintenances par an.

5. Nettoyage des données

Il ne faut jamais s'attendre à ce que les données collectées soient propres. Chaque site a des encodages différents (UTF-8, EUC-KR), des formats de date différents (2026.01.30 vs 2026-01-30 vs 30 janv. 2026) et des façons différentes de représenter les mêmes informations. Selon mon expérience, le nettoyage des données prend 30 à 50 % du temps de collecte initial.

Scraping et problèmes juridiques - Ce que vous devez savoir

Le scraping peut être techniquement simple, mais sur le plan juridique, c'est un domaine très gris. Il y a une grande différence entre "pouvoir gratter" et "pouvoir gratter en toute légalité". Si vous envisagez un scraping à des fins commerciales, assurez-vous de vérifier les trois points suivants.

robots.txt - La règle de base du scraping

robots.txt est un fichier où le propriétaire du site indique "ne pas collecter ces chemins". Bien que sa force légale soit contestée, il est pratiquement une norme de l'industrie. Ignorer les règles de robots.txt peut vous nuire en cas de litige.

# 예시: https://example.com/robots.txt
User-agent: *
Disallow: /private/
Disallow: /api/
Crawl-delay: 2          # 요청 간격 2초 이상 유지 요청

La vérification est simple. Ajoutez /robots.txt à l'URL cible (par exemple, https://naver.com/robots.txt). Les chemins spécifiés par Disallow doivent être exclus de la collecte, et si un délai de rampe est spécifié, il doit être respecté.

Loi sur la protection des données personnelles - La zone la plus sensible

La loi coréenne sur la protection des données personnelles exige le consentement de la personne pour la collecte des informations personnelles. Si les données collectées via le scraping incluent des informations permettant d'identifier une personne (nom, numéro de téléphone, e-mail, etc.), leur stockage ou leur utilisation peut être illégal.

Points à surveiller en pratique :

• Même si une page web est publique, la collecte et l'utilisation d'informations personnelles sans consentement sont interdites.
• Soyez particulièrement prudent avec les contacts, les profils de réseaux sociaux, les avis d'utilisateurs (y compris les pseudonymes).
• Si le service cible est en Europe, le RGPD s'applique - en cas de violation, une amende pouvant atteindre 4 % du chiffre d'affaires mondial peut être infligée.
• En Corée, les sanctions de la Commission de protection des données personnelles se renforcent de plus en plus.

Conseil pratique : Il est plus sûr de collecter uniquement des informations non personnelles telles que les prix, les spécifications des produits, les données de marché. Si vous avez besoin de données personnelles, assurez-vous de consulter d'abord un avocat pour une évaluation juridique.

Loi sur le droit d'auteur - Les droits sur les données elles-mêmes

Le texte, les images, les vidéos publiés sur une page web sont généralement protégés par des droits d'auteur. Bien que la collecte de données par scraping soit un acte technique, si vous republiez ou utilisez commercialement les données collectées, vous pourriez enfreindre les droits d'auteur.

Précédents et critères :

• Les faits (prix, données numériques) ne sont généralement pas protégés par le droit d'auteur.
• Les œuvres créatives (articles, critiques, images) sont protégées par le droit d'auteur.
• La copie complète d'une base de données peut constituer une violation de la loi sur la concurrence déloyale.
• Dans l'affaire hiQ Labs c. LinkedIn aux États-Unis (2022), le scraping de profils publics a été jugé non contraire à la CFAA, mais LinkedIn a intenté une action en justice distincte pour violation des conditions d'utilisation, qui s'est finalement terminée par un accord. Même pour les données publiques, il peut y avoir des restrictions au niveau des conditions d'utilisation et du droit des contrats, il est donc essentiel de vérifier la législation de chaque pays et les conditions d'utilisation du site cible.

[Checklist juridique du scraping : Vérification de robots.txt → Inclusion d'informations personnelles → Risque de violation du droit d'auteur → Examen des conditions d'utilisation](images/seo1-legal-checklist.png)

En résumé : Avant de commencer le scraping, assurez-vous de vérifier ces quatre points : ① robots.txt, ② inclusion d'informations personnelles, ③ portée d'utilisation des données collectées, ④ conditions d'utilisation du site cible. Si vous n'êtes pas sûr, consulter un avocat est l'investissement le plus sûr par rapport aux coûts.

La réalité du scraping à grande échelle - L'enfer de la maintenance

Pour les petits projets, un simple script Python suffit. Mais si vous devez exploiter le scraping en continu pour les affaires, la situation change complètement.

Pour exploiter un système de scraping web à grande échelle, vous aurez besoin de :

• Infrastructure - Serveurs, planificateurs de tâches (Airflow, Celery, etc.), système de file d'attente, base de données
• Gestion des proxies - Achat, rotation et surveillance de la qualité de centaines à des milliers de proxies (50 à 500 dollars par mois)
• Gestion des erreurs - Logique de réessai, alertes de panne, récupération automatique
• Pipeline de données - Automatisation de la collecte, du nettoyage, du chargement et de la validation des données
• Surveillance - État du scraper, qualité des données collectées, détection des changements sur les sites cibles
• Conformité légale - robots.txt, loi sur la protection des données personnelles, droit d'auteur, examen continu

[Architecture du scraping à grande échelle : Planificateur → Pool de scrapers → Rotation de proxies → Pipeline de données → Stockage](images/seo1-large-scale-architecture.png)

Même avec des frameworks comme Scrapy pour des projets plus complexes, l'exploitation reste complexe.

En termes de coûts réalistes - la création d'un scraper prend environ 2 semaines (coût de main-d'œuvre de 3 à 4 millions de wons) et nécessite ensuite 40 à 60 heures par mois pour la maintenance (coût de main-d'œuvre de 2 à 3 millions de wons). Si vous avez 10 à 20 sites à scraper, la gestion de l'infrastructure de scraping devient un travail à temps plein. Ajoutez les coûts de proxies, de serveurs, de résolution de CAPTCHA, et vous pourriez facilement dépenser plus de 5 millions de wons par mois rien que pour le scraping.

"Créer un scraper est facile. Le maintenir en vie est le vrai travail."
- Tout développeur ayant exploité un système de scraping peut vous le confirmer

Créer soi-même ou utiliser un service professionnel - Quand choisir quoi ?

Apprendre le scraping en Python est un investissement précieux pour un développeur. Pour une simple collecte de données ou un prototype, les outils mentionnés dans cet article sont suffisants.

Cependant, dès que le scraping devient le pipeline de données essentiel de votre entreprise, il est essentiel de