"Ich möchte die Daten dieser Website sammeln, aber sie ist nicht in der Bot-Liste."
Das ist die Hürde, auf die Menschen, die Crawling beauftragen möchten, am häufigsten stoßen. Eigenen Code zu schreiben kostet Zeit, und für eine externe Beauftragung muss man selbst für kleine Aufgaben erst einen Kostenvoranschlag einholen. Deshalb hat Hashscraper die Funktion zum Erstellen von Crawling-Bots mit KI als Beta geöffnet. Wenn Sie die zu sammelnde Website und die gewünschten Felder in Worten beschreiben, erstellt die KI eine Sammelmethode, zeigt testweise gesammelte Daten an und führt den Bot nach menschlicher Prüfung aus. Dieser Artikel zeigt anhand eines echten Blogs Schritt für Schritt den Dialog, mit dem ein Bot erstellt wurde.
Definition. No-Code-Crawling ist eine Methode zum Sammeln von Daten von Webseiten, ohne Code zu schreiben. Dabei können Sie entweder Felder auf dem Bildschirm anklicken oder der KI in Worten beschreiben, was Sie möchten, damit sie eine Sammelmethode erstellt.
Definition. „Bot mit KI erstellen (Beta)“ von Hashscraper ist eine Funktion, die per Dialog eine Sammelmethode (einen Bot) erstellt und nach Sicherheitsprüfung sowie Bestätigung durch Administratoren auf den Hashscraper-Servern sammelt. Die gesammelten Daten erhalten Sie als Datensatz.
[Ansicht „Bot mit KI erstellen (Beta)“ im linken Menü — Schaltfläche zum Erstellen eines neuen Bots und Liste der erstellten Bots](images/040/00_AI로봇만들기_메뉴.png)
▲ Wenn Sie im Menü bei „Bot mit KI erstellen (Beta)“ auf „Neuen Bot erstellen“ klicken, öffnet sich ein Dialog mit der KI.
TL;DR
- Wenn Sie die Adresse und die gewünschten Felder beschreiben, liest die KI die Seite und erstellt einen Bot, der Liste → Beitragsdetails → mehrere Seiten durchläuft.
- Als Beispiel wurde der persönliche Blog von Hashscraper-Geschäftsführer Kim Kyung-ho (bamchi.me) ausgewählt. Nach wenigen Dialogen war der Bot erstellt und sammelte 27 Beiträge in etwa 1 Minute und 20 Sekunden (Titel, Erstellungsdatum, Aufrufe, Inhalt und Adresse).
- Erstellung und Testsammlung sind kostenlos, die Sammlung kostet standardmäßig 25 Credits pro Datensatz. Seiten mit Login, Captchas, Apps und personenbezogenen Daten können nicht erstellt werden.
1. Mit einer einzigen Adresszeile beginnen
Die erste Nachricht bestand nur aus Folgendem.
Beiträge des Bamchi.me-Blogs sammeln
Die KI öffnete zunächst selbst die Seite. Dann antwortete sie: „Auf einer Seite stehen jeweils 9 Beiträge, die auf mehrere Seiten verteilt sind. In der Liste gibt es für jeden Beitrag Titel, Erstellungsdatum, Zusammenfassung und Beitragsadresse.“
Der wichtige Punkt dabei ist, dass kein Mensch die HTML-Struktur erklärt hat. Welche Tags den Titel enthalten und wie sich die Adresse der nächsten Seite ändert, hat die KI durch das Lesen der Seite selbst erkannt.
[Dialog mit der KI — Nach dem Senden einer einzigen Adresse öffnet die KI die Seite und fragt, ob nur die Liste oder auch der Inhalt gesammelt werden soll](images/040/01_대화주소와방식.png)
▲ Der tatsächliche Dialogbildschirm. Nach einer einzigen Adresszeile öffnet die KI die Seite und fragt zunächst, was und wie gesammelt werden soll.
2. Nur Liste? Oder auch Inhalt? — Die KI fragt zuerst
Die KI erstellt den Bot nicht sofort, sondern fragt nach der gewünschten Methode.
- Nur Liste sammeln — schnell nur Titel, Erstellungsdatum, Zusammenfassung und Adresse
- Auch Inhalt sammeln — zunächst Beitragsadressen aus der Liste sammeln und dann jeden Beitrag öffnen, um den vollständigen Inhalt abzurufen
Nach Auswahl von Option 2 folgte die nächste Frage: „Wie viele Seiten sollen gesammelt werden? Bei 3 Seiten sind es etwa 27 Beiträge. Ich kann es auch so einrichten, dass Sie die Seitenzahl bei jeder Sammlung ändern können.“ Nachdem dies bestätigt wurde, wurde „Anzahl der zu sammelnden Seiten“ zu einem Bot-Einstellungswert. So können Sie diese Woche 1 Seite und nächsten Monat 10 Seiten sammeln, ohne den Bot neu erstellen zu müssen.
Zweistufiges Crawling von der Liste zur Detailseite und das Blättern durch Seiten gehören beim Programmieren zu den aufwendigsten Teilen. Dieser Vorgang war mit zwei Fragen erledigt.
3. Vorabansicht durch eine Testsammlung
Die KI sammelte testweise 5 Beiträge von der ersten Seite und zeigte sie an.
| Titel | Erstellungsdatum | Aufrufe |
|---|---|---|
| GPT-5.6 Sol, die Falle des stärksten Modells | 13. Juli 2026 | 2.652 |
| Was Menschen mit ausreichend Geld und Zeit zuerst kaufen — weder Auto noch Luxusmarken | 17. Februar 2026 | 5.028 |
| Wie ich mit einem Mac mini meinen eigenen KI-Assistenten gebaut habe | 02. Februar 2026 | 4.708 |
Auch die nicht angeforderten Aufrufe sind enthalten. Die KI sah, dass die Beitragsseite Aufrufzahlen enthält, und schlug vor, diese ebenfalls aufzunehmen. Bei der Testsammlung wird außerdem geprüft, ob sich die nächste Seite tatsächlich öffnen lässt.
[KI-Nachricht mit dem Ergebnis der Testsammlung und Hinweis zur Prüfungsanfrage nach dem Speichern](images/040/02_대화시범수집저장.png)
▲ Das Ergebnis der Testsammlung wird im Dialog angezeigt. Wenn Sie mit „Speichern“ antworten, wird die Sammelmethode gespeichert.
[Letztes Testsammlungs-Panel — findet 9 Adressen in der Liste, öffnet 5 Detailseiten und zeigt 5 Zeilen vorab an](images/040/04_시범수집_미리보기.png)
▲ Auf der rechten Seite erscheint zusätzlich die Tabelle der Testsammlung. Es wurde auch geprüft, ob auf der nächsten Seite ebenfalls 9 Beiträge sichtbar sind.
Wenn Ihnen das Ergebnis nicht gefällt, können Sie es direkt an dieser Stelle in Worten anpassen. Zum Beispiel: „Erstellungsdatum weglassen“ oder „Statt des Inhalts nur die ersten 200 Zeichen“.
4. Erst nach menschlicher Prüfung wird gesammelt
Nach dem Speichern und Klick auf „Administratorprüfung anfordern“ startet die Sammlung nicht sofort, sondern durchläuft zwei Schritte.
- Sicherheitsprüfung (1–3 Minuten) — Es wird geprüft, ob die zu sammelnde Adresse sicher ist, ob die Sammelregeln der Website (robots.txt) dies verhindern, ob die Testergebnisse Werte enthalten, die wie personenbezogene Daten aussehen, und ob nicht zu viele Anfragen auf einmal gesendet werden. Dieser Bot wurde mit „etwa 30 Anfragen pro Durchlauf, 1 Sekunde Abstand pro Website“ freigegeben.
- Administratorbestätigung (normalerweise 1 Werktag) — Eine Person prüft die Sammelmethode und die Credits pro Datensatz und genehmigt sie.
[Panel des erstellten Bots — Adressen aus der Liste sammeln → Werte in Details extrahieren, Eingabefeld „Anzahl der zu sammelnden Seiten“, Genehmigung · 25 Credits pro Datensatz](images/040/03_만든봇승인.png)
▲ Nach der Genehmigung sehen Sie Sammelmethode, Eingabefelder und Credits pro Datensatz des Bots auf einen Blick und gelangen über „Bot öffnen“ weiter.
Der Grund, weshalb ein von der KI erstellter Bot nicht unverändert ausgeführt wird, sondern noch einmal von einem Menschen geprüft wird, ist einfach: Es soll verhindert werden, dass Bots veröffentlicht werden, die fremde Websites belasten oder Daten sammeln, die nicht gesammelt werden dürfen. In diesem Beispiel gab es kein Problem, da es sich um den Blog des Geschäftsführers selbst handelt. Dennoch trägt das Mitglied, das den Bot erstellt hat, die Verantwortung dafür, die Nutzungsbedingungen der zu sammelnden Website und die einschlägigen Gesetze einzuhalten.
5. Mit dem Bot sammeln — 27 Datensätze, 675 Credits
Nach der Genehmigung wurde auf dem Bot-Bildschirm die Seitenzahl 3 eingegeben und die Sammlung gestartet.
[Bot-Bildschirm — Schaltfläche „Sammlung starten“ und Sammelergebnis: 27 Datensätze, 675 Credits](images/040/05_봇화면수집결과.png)
▲ Bot-Bildschirm. Sie starten die Sammlung und sehen die Ergebnisse auf demselben Bildschirm wie bei anderen Crawling-Bots.
- Sammelzeit: etwa 1 Minute und 20 Sekunden
- Ergebnis: 27 Beiträge (Titel, Erstellungsdatum, Aufrufe, Inhalt, Beitragsadresse)
- Kosten: 25 Credits pro Datensatz × 27 Datensätze = 675 Credits
Die gesammelten Daten werden wie bei anderen Bots als Datensatz gespeichert und können als Excel-Datei heruntergeladen werden.
[Datensatz-Bildschirm — 27 erhaltene Datensätze, 675 verwendete Credits, Tabelle mit Titel, Erstellungsdatum, Aufrufen, Inhalt und Seitenadresse](images/040/06_데이터셋_27건.png)
▲ Die 27 gesammelten Beiträge wurden im Datensatz gespeichert. Sie können sie über „Excel herunterladen“ herunterladen.
Was mit KI erstellt werden kann und was nicht
| Kann erstellt werden | Kann nicht erstellt werden |
|---|---|
| Öffentliche Listen-, Foren- und Produktseiten | Seiten, die nur nach dem Login sichtbar sind |
| Zweistufige Abläufe Liste → Detail, mehrere Seiten | Seiten mit Roboterprüfung (Captcha) |
| Seiten mit „Mehr anzeigen“-Schaltflächen oder Inhalte, die erst nach dem Öffnen des Bildschirms angezeigt werden (werden im Browser geöffnet und gesammelt, daher dauert es länger) | Apps, personenbezogene Daten |
Bei stark geschützten Onlineshops oder Websites mit Login bzw. Captcha ist es sinnvoller, statt eines KI-Bots einen Auftrag zur Erstellung eines Sammlers direkt durch Hashscraper-Entwickler zu erteilen.
Häufig gestellte Fragen
F. Kostet die Erstellung etwas?
Die Erstellung und Testsammlung sind kostenlos. Nur für tatsächlich gesammelte Daten werden standardmäßig 25 Credits pro Datensatz abgezogen. Falls sich dies nach der Prüfung durch den Administrator ändert, werden Sie per Benachrichtigung informiert.
F. Muss ich wirklich keinerlei Code kennen?
Ja. Sie müssen nur die Adresse und die gewünschten Felder in Worten beschreiben. Zum Beispiel: „Ich möchte in einem OO-Shop nach Shampoo suchen und Produktname, Preis und Anzahl der Bewertungen sammeln.“
F. Wohin gehen die Dialoginhalte?
Sie werden zur Erstellung und Prüfung des Bots an externe KI-Dienstleister in den USA übertragen. Deshalb wird darauf hingewiesen, keine personenbezogenen Daten oder Passwörter in den Dialog einzugeben.
Fazit
Das Erstellen eines Crawling-Bots war bisher eine Entwicklungsaufgabe: „Seitenstruktur lesen, Selektoren auswählen und Seitennavigation programmieren“. Mit der KI-Boterstellung wird diese Arbeit zu einem Dialog. Sie beginnen mit einer einzigen Adresse, beantworten zwei Fragen, prüfen das Testergebnis und sammeln anschließend mit einem menschlich geprüften Bot. Da die Funktion noch in der Beta-Phase ist, kann es noch Verbesserungsbedarf geben. Probieren Sie sie aus und teilen Sie uns Ihre Rückmeldung mit — wir werden sie schnell verbessern.
Jetzt direkt starten
- Selbst erstellen: Bot mit KI erstellen (Beta)
- Für Websites mit Login oder Sperren: Crawling anfragen
