Si vous commencez tout juste à faire du crawling sur DC Inside, assurez-vous de vérifier les méthodes de collecte de base. Cet article est un guide avancé pour ceux qui ont déjà des connaissances de base. Il aborde les sujets incontournables rencontrés dans la pratique, tels que la collecte de mots-clés par galerie, la surveillance automatique des publications en temps réel, l'utilisation de l'analyse des sentiments, et le problème inévitable du blocage IP après des dizaines de requêtes.
Si vous vous demandez comment collecter des données de base, consultez d'abord le guide d'utilisation d'un bot de crawling pour les publications sur DC Inside.
1. Crawling de recherche de mots-clés par galerie — Collectez uniquement les mots-clés souhaités
DC Inside exploite des milliers de galeries, y compris les galeries mineures. La méthode de recherche et de collecte de mots-clés tels que le nom de la marque, le nom du produit et les mots-clés d'actualité dans une galerie spécifique est beaucoup plus efficace que la collecte exhaustive.
Comprendre la structure de l'URL de recherche
Le modèle d'URL de recherche à l'intérieur des galeries de DC Inside est le suivant.
https://search.dcinside.com/post/p/1/q/{키워드}/gallery/{갤러리ID}
Par exemple, pour collecter les résultats de la recherche "Galaxy S25" dans la galerie Samsung :
import requests
from bs4 import BeautifulSoup
from urllib.parse import quote
import random
import time
def crawl_dcinside_search(keyword, gallery_id, max_pages=5):
results = []
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
for page in range(1, max_pages + 1):
url = f"https://search.dcinside.com/post/p/{page}/q/{quote(keyword)}/gallery/{gallery_id}"
resp = requests.get(url, headers=headers)
if resp.status_code != 200:
break
soup = BeautifulSoup(resp.text, "html.parser")
posts = soup.select(".sch_result_list li")
for post in posts:
title = post.select_one(".tit_txt")
date = post.select_one(".date")
link = post.select_one("a")
if title and date and link:
post_url = link["href"]
post_id = post_url.split("no=")[-1].split("&")[0] if "no=" in post_url else post_url
results.append({
"id": post_id,
"title": title.text.strip(),
"date": date.text.strip(),
"url": post_url
})
time.sleep(random.uniform(1.0, 2.5)) # 랜덤 간격으로 탐지 회피
return results
Scénarios d'utilisation
- Surveillance de la marque: Collectez régulièrement les publications mentionnant votre marque pour détecter rapidement les opinions négatives.
- Suivi des tendances concurrentielles: Suivez les réactions des consommateurs en recherchant les noms des produits de vos concurrents.
- Suivi des problèmes: Surveillez en temps réel les publications liées à des événements ou incidents spécifiques.
2. Automatisation de la surveillance des publications en temps réel — Implémentation avec Cron + Python
Il est facile de manquer les publications communautaires qui sont créées et supprimées rapidement avec une collecte ponctuelle. En particulier, sur DC Inside, les publications populaires peuvent enregistrer des dizaines de milliers de vues en quelques heures et disparaître. C'est pourquoi une surveillance continue est nécessaire.
Configuration de la collecte automatique basée sur Cron
Voici un exemple de Cron qui exécute le crawler toutes les 30 minutes dans un environnement Linux/macOS.
# crontab -e 로 편집
*/30 * * * * /usr/bin/python3 /home/user/dcinside_monitor.py >> /var/log/dcinside.log 2>&1
Logique de filtrage des publications en double
Pour éviter de collecter plusieurs fois la même publication, vous devez enregistrer l'ID de la publication dans une base de données locale ou un fichier.
import json
import os
SEEN_FILE = "seen_posts.json"
def load_seen():
if os.path.exists(SEEN_FILE):
with open(SEEN_FILE) as f:
return set(json.load(f))
return set()
def save_seen(seen_ids):
with open(SEEN_FILE, "w") as f:
json.dump(list(seen_ids), f)
def filter_new_posts(posts, seen_ids):
new_posts = [p for p in posts if p["id"] not in seen_ids]
seen_ids.update(p["id"] for p in new_posts)
return new_posts, seen_ids
Intégration des notifications (Slack/Télégram)
En envoyant une notification sur Slack lorsqu'une nouvelle publication est détectée, le personnel peut réagir en temps réel.
import requests as req
def send_slack_alert(post, webhook_url):
message = f"새 게시글 감지\n제목: {post['title']}\nURL: {post['url']}"
req.post(webhook_url, json={"text": message})
3. Utilisation des données collectées — Analyse d'opinion, analyse des sentiments, détection des tendances
DC Inside est l'une des plus grandes communautés anonymes en Corée, et les données textuelles collectées sont utiles pour l'analyse d'opinion et la détection des tendances. Elles sont utilisées par les entreprises et les institutions de recherche pour la gestion des crises de marque, l'évaluation des réactions aux nouveaux produits, la surveillance des problèmes politiques et sociaux, etc.
Analyse des sentiments basée sur Python VADER / KoBERT
En coréen, les modèles de la famille KLUE-RoBERTa et KoBERT sont largement utilisés pour l'analyse des sentiments. Voici un exemple simple :
from transformers import pipeline
classifier = pipeline(
"text-classification",
model="beomi/KcELECTRA-base-v2022" # 한국어 범용 감정분석 모델 (용도에 맞게 교체 가능)
)
def analyze_sentiment(texts):
results = []
for text in texts:
result = classifier(text[:512])[0]
results.append({
"text": text[:50],
"label": result["label"],
"score": round(result["score"], 3)
})
return results
Analyse des termes associés
En extrayant les mots fréquemment utilisés dans les titres et les corps des publications collectées, il est possible de comprendre le contexte d'un problème.
from collections import Counter
import re
def extract_top_keywords(texts, top_n=20):
all_words = []
for text in texts:
words = re.findall(r"[가-힣]{2,}", text) # 2글자 이상 한글만
all_words.extend(words)
return Counter(all_words).most_common(top_n)
Cas d'utilisation (pratique)
| Secteur | Objectif d'utilisation | Source de collecte |
|---|---|---|
| Biens de consommation/E-commerce | Analyse des réactions au lancement de nouveaux produits | Galeries pertinentes + recherche de mots-clés |
| Divertissement | Surveillance de l'opinion des artistes | Collecte en temps réel dans les galeries de divertissement |
| Finance/Investissement | Détection des problèmes des actions | Galeries d'actions/criptomonnaies |
| Organismes publics/Politique | Évaluation de l'opinion sur les politiques | Collecte de mots-clés dans les galeries politiques |
4. Contournement du blocage IP de DC Inside et stratégies de contournement
DC Inside dispose d'un système de détection des crawlers. Voici les seuils de blocage confirmés en pratique.
- Environ 240 requêtes: Retard de réponse ou certaines parties du contenu sont limitées
- Environ 620 requêtes: Cas confirmés de blocage au niveau de l'IP (4xx ou redirection infinie)
Si le blocage se produit, la collecte est interrompue, il est donc nécessaire de mettre en œuvre les stratégies ci-dessous dès le début.
4 stratégies de contournement clés
① Ajustement de l'intervalle entre les requêtes (le plus basique)
En espaçant aléatoirement les requêtes, le risque de détection du bot est réduit.
import random
import time
def random_delay(min_sec=1.0, max_sec=3.0):
time.sleep(random.uniform(min_sec, max_sec))
② Rotation de l'User-Agent
L'utilisation répétée du même User-Agent facilite la détection.
import random
USER_AGENTS = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/119",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 Chrome/118",
]
def get_random_ua():
return random.choice(USER_AGENTS)
③ Exploitation d'un pool de proxies
La méthode la plus fiable pour éviter le blocage IP est d'utiliser une IP différente pour chaque requête. Les proxies gratuits sont peu fiables, il est donc recommandé d'utiliser un service de proxies payant.
import itertools
proxy_pool = [
"http://proxy1:port",
"http://proxy2:port",
"http://proxy3:port",
]
proxy_cycle = itertools.cycle(proxy_pool)
def get_proxy():
p = next(proxy_cycle)
return {"http": p, "https": p}
④ Dissimulation de l'empreinte TLS avec curl_cffi
À partir de 2026, la bibliothèque requests standard peut être détectée lors de la vérification de l'empreinte TLS. En utilisant curl_cffi, vous pouvez imiter une empreinte identique à celle d'un navigateur réel.
from curl_cffi import requests as cffi_requests
resp = cffi_requests.get(
"https://gall.dcinside.com/board/lists/",
params={"id": "programming"},
impersonate="chrome120"
)
Construction directe vs service géré
| Élément | Construction directe | Service géré |
|---|---|---|
| Coût initial | Faible | Mensuel |
| Infrastructure de proxy | Doit être acquise directement | Inclus |
| Réponse au blocage IP | Gérée directement | Traitement automatique |
| Maintenance | Nécessite du personnel de développement | Non nécessaire |
| Mise à l'échelle | Nécessite l'ajout d'infrastructure | Disponible immédiatement |
Si vous avez besoin de collecter en masse des dizaines de milliers de données ou si vous avez du mal à consacrer des ressources de développement à la maintenance du crawler, il est réaliste de considérer un service de crawling géré. Hashscraper propose un crawler dédié à DC Inside et à plus de 500 sites, que vous pouvez configurer depuis un tableau de bord sans code, et qui fonctionne de manière stable sans blocage IP.
5. Considérations légales et éthiques concernant le crawling sur DC Inside
Avant de commencer le crawling sur DC Inside, assurez-vous de prendre en compte les points suivants.
Vérification de robots.txt
https://www.dcinside.com/robots.txt
Les chemins spécifiés dans robots.txt sont des zones interdites au crawling. Bien que cela n'ait pas de force juridique contraignante, le non-respect du crawling peut constituer une violation des conditions de service et entraîner des litiges juridiques.
Conformité à la loi sur la protection des informations personnelles (PIPA)
Les publications sur DC Inside peuvent contenir des noms d'utilisateur, une partie des adresses IP et des informations personnelles identifiables. L'utilisation à des fins autres que la collecte, la divulgation à des tiers ou la revente commerciale peuvent constituer une violation de la loi sur la protection des informations personnelles.
Loi sur le droit d'auteur
Le texte des publications est une œuvre de l'auteur. Bien que l'utilisation interne à des fins d'analyse soit généralement autorisée, la publication du texte original en externe ou son utilisation à des fins commerciales peut constituer une violation du droit d'auteur.
Minimisation de la charge serveur
Un nombre excessif de requêtes peut entraîner des pannes de service, ce qui peut être interprété comme une perturbation du service en vertu de la loi sur les réseaux de communication. Il est recommandé de maintenir un intervalle d'au moins 1 seconde entre les requêtes et de répartir la collecte en masse en dehors des heures de travail (la nuit) pour éviter les problèmes.
FAQ
Q. Le crawling sur DC Inside est-il légal?
R. La collecte de données de publications publiques à des fins d'analyse est généralement autorisée en vertu de la jurisprudence de la Cour suprême. Cependant, le stockage et l'utilisation de données contenant des informations personnelles, la violation des conditions de service, la surcharge des serveurs, etc., peuvent poser des problèmes légaux. Il est recommandé de faire examiner la collecte par une équipe juridique avant de commencer.
Q. Combien de publications puis-je collecter sans être bloqué?
R. En construisant vous-même, il est courant d'être bloqué après environ 200 à 600 requêtes sur une seule IP. En exploitant un pool de proxies, théoriquement, il n'y a pas de limite, mais la qualité et les coûts de gestion des proxies doivent être pris en compte.
Q. À quelle fréquence devrais-je régler la surveillance en temps réel?
R. Pour répondre aux besoins de réaction aux problèmes, un intervalle de 15 à 30 minutes est réaliste. Des intervalles de moins d'une minute augmentent le risque de blocage IP et de surcharge serveur. Il est recommandé de surveiller fréquemment les galeries importantes et de régler les autres à des intervalles d'une heure en fonction de leur importance.
Q. Est-il possible de collecter également les commentaires?
R. Oui. Les commentaires sur DC Inside sont fournis via un point de terminaison API distinct, et en fournissant le numéro de publication (no) en tant que paramètre, vous pouvez les recevoir au format JSON. Cependant, les commentaires ont plus de chances de contenir des informations personnelles identifiables, donc il faut être prudent.
Q. Quel modèle est le plus précis pour l'analyse des sentiments?
R. Les textes de la communauté coréenne contiennent de nombreux néologismes, abréviations et expressions inversées, ce qui peut réduire la précision des modèles généraux. Les modèles affinés avec des données spécifiques au domaine tels que KLUE-RoBERTa, KoBERT sont les plus précis, et l'utilisation de grands modèles de langage tels que GPT-4o avec des prompts pour la classification est également de plus en plus courante.
Q. Est-il possible d'archiver l'ensemble des publications d'une galerie spécifique?
R. Techniquement, c'est possible, mais la collecte en masse comporte des risques de blocage IP et de violation des conditions de service. Il est plus réaliste de filtrer par mots-clés et de limiter la collecte sur une période donnée plutôt que de tout archiver.
Q. Existe-t-il un moyen de collecter des données sur DC Inside sans coder?
R. Oui. En utilisant le bot de collecte de galeries DC Inside de Hashscraper, vous pouvez configurer des mots-clés, des galeries et des critères de tri depuis un tableau de bord, puis télécharger les données au format Excel. Le contournement du blocage IP est géré automatiquement.
Conclusion
L'automatisation du crawling sur DC Inside évolue en un outil pour la surveillance de l'opinion et la découverte d'informations au-delà de la simple collecte de données. Filtrer les données pertinentes avec la recherche de mots-clés par galerie, mettre en place un système de surveillance 24 heures sur 24 avec Cron, et extraire rapidement des informations qualitatives avec l'analyse des sentiments sont des pratiques proches de la norme en 2026.
Bien que les problèmes de blocage IP puissent être en grande partie résolus en ajustant les intervalles de requêtes et en exploitant un pool de proxies, si votre objectif est une collecte en masse stable, vous devez prendre en compte les coûts d'infrastructure et de développement. Si votre équipe préfère se concentrer sur l'analyse et l'utilisation des données plutôt que sur la collecte, déléguer l'ensemble de l'infrastructure de crawling peut être une option à considérer.
