디시인사이드 크롤링을 처음 시작한다면 기본 수집 방법부터 확인하세요. 이 글은 이미 기초를 알고 있는 분을 위한 심화 가이드 입니다. 갤러리별 키워드 검색 수집, 실시간 게시글 모니터링 자동화, 감정분석 활용, 그리고 수십 번의 요청 후 어김없이 찾아오는 IP 차단 문제까지 — 실무에서 반드시 마주치는 주제를 순서대로 다룹니다.
기본 수집 방법이 궁금하다면 먼저 디시인사이드 게시글 크롤링 봇 사용 가이드를 참고하세요.
1. Galeriebasiertes Keyword-Such-Crawling — Nur gewünschte Keywords sammeln
Es gibt Tausende von Galerien auf DC Inside, wenn man auch die Minor-Galerien einbezieht. Das Sammeln von Beiträgen durch die Suche nach Markennamen, Produktnamen und Schlüsselwörtern in einer bestimmten Galerie ist viel effizienter als ein vollständiges Sammeln.
Analyse der Such-URL-Struktur
Das Muster der Such-URL in einer DC Inside-Galerie ist wie folgt.
https://search.dcinside.com/post/p/1/q/{키워드}/gallery/{갤러리ID}
Um beispielsweise die Ergebnisse der Suche nach "Galaxy S25" in der Samsung-Galerie zu sammeln:
import requests
from bs4 import BeautifulSoup
from urllib.parse import quote
import random
import time
def crawl_dcinside_search(keyword, gallery_id, max_pages=5):
results = []
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
for page in range(1, max_pages + 1):
url = f"https://search.dcinside.com/post/p/{page}/q/{quote(keyword)}/gallery/{gallery_id}"
resp = requests.get(url, headers=headers)
if resp.status_code != 200:
break
soup = BeautifulSoup(resp.text, "html.parser")
posts = soup.select(".sch_result_list li")
for post in posts:
title = post.select_one(".tit_txt")
date = post.select_one(".date")
link = post.select_one("a")
if title and date and link:
post_url = link["href"]
post_id = post_url.split("no=")[-1].split("&")[0] if "no=" in post_url else post_url
results.append({
"id": post_id,
"title": title.text.strip(),
"date": date.text.strip(),
"url": post_url
})
time.sleep(random.uniform(1.0, 2.5)) # 랜덤 간격으로 탐지 회피
return results
Anwendungsszenarien
- Markenüberwachung: Regelmäßiges Sammeln von Beiträgen, in denen der eigene Markenname erwähnt wird, zur frühzeitigen Erkennung negativer Meinungen
- Wettbewerbsanalyse: Verfolgung der Reaktionen der Verbraucher durch die Suche nach den Produktnamen der Konkurrenz
- Issue Tracking: Echtzeitüberwachung von Beiträgen zu bestimmten Ereignissen oder Vorfällen
2. Echtzeit-Beitragsüberwachung Automatisierung — Implementierung mit Cron + Python
Mit einmaligem Sammeln können schnell erstellte und gelöschte Community-Beiträge leicht übersehen werden. Insbesondere bei DC Inside können beliebte Beiträge innerhalb weniger Stunden Zehntausende von Aufrufen verzeichnen und dann verschwinden. Dies ist der Grund für die Notwendigkeit einer kontinuierlichen Überwachung.
Einstellung der automatischen Sammlung basierend auf Cron
Hier ist ein Beispiel für die Ausführung eines Crawlers alle 30 Minuten in einer Linux/macOS-Umgebung.
# crontab -e 로 편집
*/30 * * * * /usr/bin/python3 /home/user/dcinside_monitor.py >> /var/log/dcinside.log 2>&1
Logik zur Filterung von Duplikatbeiträgen
Um zu vermeiden, dass derselbe Beitrag wiederholt gesammelt wird, müssen die Beitrag-IDs in einer lokalen Datenbank oder Datei gespeichert werden.
import json
import os
SEEN_FILE = "seen_posts.json"
def load_seen():
if os.path.exists(SEEN_FILE):
with open(SEEN_FILE) as f:
return set(json.load(f))
return set()
def save_seen(seen_ids):
with open(SEEN_FILE, "w") as f:
json.dump(list(seen_ids), f)
def filter_new_posts(posts, seen_ids):
new_posts = [p for p in posts if p["id"] not in seen_ids]
seen_ids.update(p["id"] for p in new_posts)
return new_posts, seen_ids
Integration von Benachrichtigungen (Slack/Telegram)
Wenn ein neuer Beitrag erkannt wird, kann eine Benachrichtigung über Slack gesendet werden, damit das Personal sofort reagieren kann.
import requests as req
def send_slack_alert(post, webhook_url):
message = f"새 게시글 감지\n제목: {post['title']}\nURL: {post['url']}"
req.post(webhook_url, json={"text": message})
3. Nutzung der gesammelten Daten — Meinungsanalyse, Sentimentanalyse, Trenderkennung
DC Inside ist eine der größten anonymen Community-Plattformen in Südkorea, und die gesammelten Textdaten sind nützlich für Meinungsanalysen und Trenderkennungen. Sie werden von Unternehmen und Forschungseinrichtungen für die Bewältigung von Markenkrisen, die Analyse der Reaktionen auf neue Produkte, die Überwachung politischer und gesellschaftlicher Themen usw. genutzt.
Sentimentanalyse basierend auf Python VADER / KoBERT
Für die koreanische Sentimentanalyse werden häufig Modelle wie KLUE-RoBERTa und KoBERT verwendet. Hier ist ein einfaches Beispiel:
from transformers import pipeline
classifier = pipeline(
"text-classification",
model="beomi/KcELECTRA-base-v2022" # 한국어 범용 감정분석 모델 (용도에 맞게 교체 가능)
)
def analyze_sentiment(texts):
results = []
for text in texts:
result = classifier(text[:512])[0]
results.append({
"text": text[:50],
"label": result["label"],
"score": round(result["score"], 3)
})
return results
Analyse von verwandten Begriffen
Durch die Extraktion von häufig vorkommenden Wörtern in Beitragstiteln und -inhalten kann der Kontext eines Themas erfasst werden.
from collections import Counter
import re
def extract_top_keywords(texts, top_n=20):
all_words = []
for text in texts:
words = re.findall(r"[가-힣]{2,}", text) # 2글자 이상 한글만
all_words.extend(words)
return Counter(all_words).most_common(top_n)
Anwendungsbeispiele (Praxis)
| Branche | Verwendungszweck | Sammelziel |
|---|---|---|
| Konsumgüter/E-Commerce | Analyse der Reaktionen auf neue Produkteinführungen | Verwandte Galerien + Schlüsselwortsuche |
| Unterhaltung | Überwachung der Meinung über Künstler | Echtzeit-Sammlung in Unterhaltungsgalerien |
| Finanzen/Investitionen | Erkennung von Themen zu Aktien | Aktien-/Kryptogalerien |
| Öffentliche Institutionen/Politik | Erfassung der Reaktionen auf politische Maßnahmen | Schlüsselwortsuche in politischen Galerien |
4. DC Inside IP-Blockierung und Umgehungstrategien
DC Inside verfügt über ein Crawler-Erkennungssystem. Die bestätigten Sperrschwellenwerte in der Praxis sind wie folgt.
- Etwa 240 Anfragen: Verzögerung der Antwort oder Einschränkung einiger Inhalte gemeldet
- Etwa 620 Anfragen: Bestätigte Fälle von IP-Blockierung (4xx oder endlose Weiterleitungen)
Wenn eine Blockierung auftritt, wird die Sammlung vollständig gestoppt, daher müssen die folgenden Strategien von Anfang an parallel eingesetzt werden.
Vier Schlüssel-Umgehungstrategien
① Anfrageintervall anpassen (am grundlegendsten)
Durch zufällige Intervalle wird die Erkennungswahrscheinlichkeit des Bots verringert.
import random
import time
def random_delay(min_sec=1.0, max_sec=3.0):
time.sleep(random.uniform(min_sec, max_sec))
② User-Agent-Rotation
Die Verwendung desselben User-Agents in Wiederholung erleichtert die Erkennung.
import random
USER_AGENTS = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/119",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 Chrome/118",
]
def get_random_ua():
return random.choice(USER_AGENTS)
③ Betrieb eines Proxy-Pools
Die zuverlässigste Methode, um eine IP-Blockierung zu vermeiden, besteht darin, für jede Anfrage eine andere IP zu verwenden. Kostenlose Proxies sind unzuverlässig, daher wird die Verwendung eines kommerziellen Proxy-Dienstes empfohlen.
import itertools
proxy_pool = [
"http://proxy1:port",
"http://proxy2:port",
"http://proxy3:port",
]
proxy_cycle = itertools.cycle(proxy_pool)
def get_proxy():
p = next(proxy_cycle)
return {"http": p, "https": p}
④ TLS-Fingerprint-Verschleierung mit curl_cffi
Stand 2026 kann die herkömmliche requests-Bibliothek bei der TLS-Fingerprint-Prüfung erkannt werden. Durch die Verwendung von curl_cffi kann ein Fingerabdruck erzeugt werden, der dem eines echten Browsers entspricht.
from curl_cffi import requests as cffi_requests
resp = cffi_requests.get(
"https://gall.dcinside.com/board/lists/",
params={"id": "programming"},
impersonate="chrome120"
)
Eigenbau vs. Managed Services
| Kategorie | Eigenbau | Managed Services |
|---|---|---|
| Anfangskosten | Niedrig | Monatliche Gebühr |
| Proxy-Infrastruktur | Eigenbeschaffung erforderlich | Enthalten |
| IP-Blockierungsbewältigung | Eigenständige Bewältigung | Automatische Verarbeitung |
| Wartung | Benötigt Entwicklerressourcen | Nicht erforderlich |
| Skalierung | Erfordert zusätzliche Infrastruktur | Sofort möglich |
Wenn eine umfangreiche Sammlung von mehreren zehntausend Beiträgen pro Monat erforderlich ist oder es schwierig ist, Entwicklungsressourcen für die Wartung des Crawlers aufzubringen, ist es realistisch, über einen Managed Crawling Service nachzudenken. Hashscraper ermöglicht das Einrichten von Crawling für über 500 Websites, einschließlich eines speziellen Crawlers für DC Inside, ohne Code über ein Dashboard und ohne IP-Blockierungen.
5. Rechtliche Vorsichtsmaßnahmen und ethisches Crawling
Bevor Sie mit dem Crawling von DC Inside beginnen, sollten Sie unbedingt die folgenden Punkte beachten.
Überprüfung der robots.txt
https://www.dcinside.com/robots.txt
Die in der robots.txt angegebenen Disallow-Pfade sind Bereiche, in denen das Crawling untersagt ist. Obwohl dies keine rechtliche Verbindlichkeit hat, kann das Ignorieren des Crawlings zu Verstößen gegen die Nutzungsbedingungen und rechtlichen Auseinandersetzungen führen.
Einhaltung des Datenschutzgesetzes (PIPA)
DC Inside-Beiträge können Benutzernamen, Teile von IP-Adressen und persönlich identifizierbare Informationen enthalten. Die Nutzung außerhalb des Sammelzwecks, die Weitergabe an Dritte und der kommerzielle Wiederverkauf können gegen das Datenschutzgesetz verstoßen.
Urheberrechtsgesetz
Der ursprüngliche Beitrag ist das geistige Eigentum des Verfassers. Die interne Nutzung zu Analysezwecken ist in den meisten Fällen gestattet, aber das direkte Veröffentlichen des Originalbeitrags oder die kommerzielle Nutzung können Urheberrechtsverletzungen darstellen.
Minimierung der Serverlast
Eine übermäßige Anzahl von Anfragen kann zu Serviceausfällen führen, was als Behinderung des Dienstes gemäß dem Informations- und Kommunikationsnetzgesetz angesehen werden kann. Es wird empfohlen, das Anfrageintervall auf über 1 Sekunde zu halten und die Massensammlung in Nicht-Geschäftszeiten (nachts) zu verteilen.
FAQ
F. Ist das Crawling von DC Inside legal?
A. Das Sammeln und Analysieren öffentlich zugänglicher Beitragsdaten zu Analysezwecken ist im Allgemeinen gemäß der Rechtsprechung des Obersten Gerichtshofs zulässig. Die Speicherung und Nutzung von Daten mit persönlichen Informationen, Verstöße gegen die Nutzungsbedingungen und das Verursachen von Serverüberlastungen können jedoch rechtliche Probleme verursachen. Es wird empfohlen, dass das Rechtsteam die Sammlung überprüft.
F. Wie viele Beiträge können ohne Blockierung gesammelt werden?
A. Bei Eigenbau wird in der Regel nach etwa 200-600 Anfragen pro einzelner IP eine Blockierung ausgelöst. Durch den Betrieb eines Proxy-Pools ist theoretisch eine unbegrenzte Anzahl möglich, aber dies ist mit Kosten für die Proxy-Qualität und -verwaltung verbunden.
F. Wie oft sollte die Echtzeitüberwachung eingestellt werden?
A. Für Zwecke der Issues-Bewältigung sind Intervalle von 15-30 Minuten realistisch. Intervalle von weniger als 1 Minute erhöhen das Risiko einer IP-Blockierung und führen zu Serverüberlastungen. Es wird empfohlen, wichtige Galerien häufig zu überwachen und andere in Intervallen von 1 Stunde zu überwachen.
F. Können auch Kommentare gesammelt werden?
A. Ja, das ist möglich. DC Inside-Kommentare werden über einen separaten API-Endpunkt abgerufen, und wenn Sie die Beitragsnummer (no) als Parameter angeben, erhalten Sie die Daten im JSON-Format. Da Kommentare jedoch wahrscheinlicher persönlich identifizierbare Informationen enthalten, ist Vorsicht geboten.
F. Welches Modell ist am genauesten für die Sentimentanalyse?
A. Koreanische Community-Texte enthalten viele Neologismen, Abkürzungen und ironische Ausdrücke, wodurch die Genauigkeit von allgemeinen Modellen beeinträchtigt werden kann. Modelle, die auf KLUE-RoBERTa und KoBERT basieren und mit domänenspezifischen Daten feinabgestimmt sind, sind am genauesten. Auch die Verwendung von großen Sprachmodellen wie GPT-4o, die über Prompts Klassifizierungen anfordern, wird schnell populär.
F. Ist es möglich, alle Beiträge einer bestimmten Galerie zu archivieren?
A. Technisch ist dies möglich, aber das umfangreiche Sammeln birgt das Risiko einer IP-Blockierung und Probleme mit den Nutzungsbedingungen. Es ist realistischer, eine Filterung nach Schlüsselwörtern und eine begrenzte Sammlung über einen bestimmten Zeitraum durchzuführen.
F. Gibt es eine Möglichkeit, DC Inside-Daten ohne Codierung zu sammeln?
A. Ja. Mit dem DC Inside Gallery Search Collection Bot von Hashscraper können Sie Schlüsselwörter, Galerien und Sortierkriterien im Dashboard festlegen und die Daten als Excel herunterladen. Die Umgehung von IP-Blockierungen wird automatisch behandelt.
Abschluss
Die Automatisierung des Crawlings von DC Inside entwickelt sich zu einem Werkzeug für Meinungsüberwachung und Erkenntnisgewinn und geht über einfaches Sammeln hinaus. Durch das Sammeln von Beiträgen nach Schlüsselwörtern in Galerien können Sie die für Ihre Zwecke relevanten Daten filtern, durch die Automatisierung auf Cron-Basis ein 24-Stunden-Überwachungssystem aufbauen und durch Sentimentanalyse schnell qualitative Erkenntnisse gewinnen, was 2026 nahe an den Praxisstandards liegt.
Das Problem der IP-Blockierung kann durch den Betrieb eines Proxy-Pools und die Anpassung des Anfrageintervalls weitgehend gelöst werden, aber wenn eine stabile Massensammlung angestrebt wird, müssen die Infrastrukturkosten und der Entwicklungsaufwand berücksichtigt werden. Wenn Ihr Team sich mehr auf die Analyse und Nutzung von Daten konzentrieren möchte, ist die Delegation der gesamten Crawling-Infrastruktur eine mögliche Option.
