"Je souhaite collecter les données de ce site, mais il n’est pas dans la liste des bots."
C’est l’obstacle le plus fréquent auquel se heurtent les personnes qui souhaitent confier du crawling. Écrire du code prend du temps, et faire appel à un prestataire implique de demander un devis même pour une petite tâche. C’est pourquoi Hashscraper a ouvert en bêta une fonction permettant de créer des bots de crawling avec l’IA. Décrivez avec des mots le site à collecter et les éléments souhaités : l’IA crée une méthode de collecte, effectue une collecte de démonstration, puis le bot est exécuté après validation humaine. Cet article montre, dans l’ordre de la conversation, le processus réel de création d’un bot pour un blog.
Définition. Le crawling sans code est une méthode de collecte de données de pages web sans écrire de code. Il existe une méthode consistant à sélectionner les éléments à l’écran, ainsi qu’une méthode où l’IA crée la méthode de collecte après une description orale de ce que vous souhaitez.
Définition. La fonctionnalité « Créer un bot avec l’IA (bêta) » de Hashscraper permet de créer par conversation une méthode de collecte (un bot), puis de collecter les données sur les serveurs de Hashscraper après un contrôle de sécurité et une validation par un administrateur. Les données collectées sont fournies sous forme de dataset.
[Écran « Créer un bot avec l’IA (bêta) » dans le menu de gauche — bouton Créer un nouveau bot et liste des bots créés](images/040/00_AI로봇만들기_메뉴.png)
▲ En cliquant sur « Créer un nouveau bot » dans « Créer un bot avec l’IA (bêta) » du menu, une conversation avec l’IA s’ouvre.
TL;DR
- Saisissez en mots l’adresse et les éléments souhaités : l’IA crée un bot qui parcourt liste → détail de l’article → plusieurs pages.
- Par exemple, nous avons choisi le blog personnel de Kim Kyung-ho, PDG de Hashscraper (bamchi.me), créé un bot en quelques échanges et collecté 27 articles en environ 1 minute 20 secondes (titre, date de publication, nombre de vues, contenu et adresse).
- La création et la collecte de démonstration sont gratuites ; la collecte coûte par défaut 25 crédits par élément. Les pages nécessitant une connexion, les captchas, les applications et les données personnelles ne peuvent pas être traités.
1. Commencer avec une seule ligne d’adresse
Le premier message envoyé ne contenait que ceci.
Collecte les articles du blog Bamchi.me
L’IA a d’abord ouvert directement la page. Elle a ensuite répondu : « Il y a 9 articles par page, répartis sur plusieurs pages. Dans la liste, chaque article comporte un titre, une date de publication, un résumé et l’adresse de l’article. »
Le point important ici est que la personne n’a pas décrit la structure HTML. L’IA a lu la page et déterminé elle-même quelle balise contenait le titre et comment l’adresse de la page suivante changeait.
[Conversation avec l’IA — après l’envoi d’une seule ligne d’adresse, l’IA ouvre la page et demande si elle doit collecter uniquement la liste ou également le contenu](images/040/01_대화주소와방식.png)
▲ Écran de conversation réel. Après l’envoi d’une seule ligne d’adresse, l’IA ouvre la page et demande d’abord quoi collecter et comment.
2. Seulement la liste ? Jusqu’au contenu complet ? — L’IA demande d’abord
L’IA n’a pas créé le bot immédiatement, mais a demandé quelle méthode choisir.
- Collecter uniquement la liste — rapidement, avec seulement le titre, la date de publication, le résumé et l’adresse
- Collecter jusqu’au contenu complet — récupérer les adresses des articles dans la liste, puis ouvrir chaque article pour récupérer l’intégralité du contenu
Après avoir choisi l’option 2, la question suivante est arrivée : « Jusqu’à combien de pages souhaitez-vous collecter ? Pour 3 pages, cela représente environ 27 articles. Je peux aussi vous permettre de modifier le nombre de pages à chaque collecte. » En demandant cette option, « le nombre de pages à collecter » est devenu un paramètre du bot. Vous pouvez ainsi utiliser le bot avec 1 page cette semaine et 10 pages le mois prochain, sans devoir le recréer.
Le crawling en deux étapes, qui consiste à passer de la liste à la page détaillée, ainsi que la pagination, sont les parties les plus laborieuses à coder. Ici, le processus s’est terminé avec deux questions.
3. Aperçu grâce à une collecte de démonstration
L’IA a collecté à titre d’essai 5 articles de la première page et les a affichés.
| Titre | Date de publication | Nombre de vues |
|---|---|---|
| GPT-5.6 Sol, le piège du modèle le plus puissant | 13 juillet 2026 | 2 652 |
| La première chose qu’achètent les personnes qui ont de l’argent et du temps — ni voiture ni produits de luxe | 17 février 2026 | 5 028 |
| L’histoire de la création de mon propre assistant IA avec un seul Mac mini | 02 février 2026 | 4 708 |
Le nombre de vues, qui n’avait pas été demandé, est également inclus. L’IA a vu que la page de l’article contenait ce nombre et a proposé de l’ajouter. Elle vérifie également lors de la collecte de démonstration que la page suivante s’ouvre réellement.
[Message de l’IA affichant le résultat de la collecte de démonstration et guide demandant une validation après l’enregistrement](images/040/02_대화시범수집저장.png)
▲ Le résultat de la collecte de démonstration est affiché dans la conversation ; en répondant « Enregistrer », la méthode de collecte est sauvegardée.
[Dernier panneau de collecte de démonstration — trouve 9 adresses dans la liste, ouvre 5 pages détaillées et affiche 5 lignes en aperçu](images/040/04_시범수집_미리보기.png)
▲ Un tableau de collecte de démonstration apparaît également à droite de l’écran. Il a été vérifié que 9 articles étaient aussi visibles sur la page suivante.
Si le résultat ne vous convient pas, vous pouvez le modifier verbalement à cet endroit. Par exemple : « Retire la date de publication » ou « Au lieu du contenu, prends seulement les 200 premiers caractères ».
4. Exécution après validation humaine
Après l’enregistrement, lorsque vous cliquez sur « Demander une validation par l’administrateur », la collecte ne démarre pas immédiatement : elle passe par deux étapes.
- Contrôle de sécurité (1 à 3 minutes) — vérifie si l’adresse à collecter est sûre, si les règles de collecte du site (robots.txt) ne l’interdisent pas, si les résultats de démonstration ne contiennent pas de valeurs semblant être des données personnelles et si le nombre de requêtes simultanées n’est pas trop élevé. Ce bot a été accepté avec « environ 30 requêtes à la fois, à intervalles de 1 seconde par site ».
- Validation par l’administrateur (généralement 1 jour ouvré) — une personne vérifie la méthode de collecte et le nombre de crédits nécessaires par élément, puis l’approuve.
[Panneau du bot en cours de création — collecte des adresses depuis la liste → extraction des valeurs depuis le détail, champ Nombre de pages à collecter, approbation · 25 crédits par élément](images/040/03_만든봇승인.png)
▲ Une fois approuvé, la méthode de collecte du bot, les champs de saisie et les crédits par élément sont visibles en un coup d’œil, avec un accès à « Ouvrir le bot ».
La raison pour laquelle une personne examine une nouvelle fois le bot créé par l’IA avant son exécution est simple : empêcher la mise en circulation de bots qui surchargent le site d’autrui ou collectent des données qui ne doivent pas l’être. Dans cet exemple, il n’y avait pas de problème car il s’agissait du blog personnel du PDG, mais la responsabilité de respecter les conditions d’utilisation du site à collecter et les lois applicables incombe au membre qui a créé le bot.
5. Collecte avec le bot — 27 éléments, 675 crédits
Après l’approbation, nous avons saisi 3 comme nombre de pages sur l’écran du bot et lancé la collecte.
[Écran du bot — bouton Démarrer la collecte et résultat de collecte : 27 éléments, 675 crédits](images/040/05_봇화면수집결과.png)
▲ Écran du bot. Vous lancez la collecte et consultez les résultats sur le même écran que les autres bots de crawling.
- Temps de collecte : environ 1 minute 20 secondes
- Résultat : 27 articles (titre, date de publication, nombre de vues, contenu et adresse de l’article)
- Coût : 25 crédits par élément × 27 éléments = 675 crédits
Les données collectées sont accumulées dans un dataset, comme avec les autres bots, et peuvent être téléchargées au format Excel.
[Écran du dataset — 27 éléments reçus, 675 crédits utilisés, tableau avec titre, date de publication, nombre de vues, contenu et adresse de la page](images/040/06_데이터셋_27건.png)
▲ Les 27 articles collectés ont été ajoutés au dataset. Vous pouvez les télécharger avec « Télécharger Excel ».
Ce que l’IA peut et ne peut pas créer
| Peut être créé | Ne peut pas être créé |
|---|---|
| Listes, forums et pages de produits publics | Pages visibles uniquement après connexion |
| Deux étapes liste → détail, plusieurs pages | Pages affichant une vérification robot (captcha) |
| Boutons « Voir plus » et pages qui ne se rendent visibles qu’après ouverture de l’écran (collectées en ouvrant un navigateur, donc plus lentement) | Applications, données personnelles |
Pour les boutiques en ligne fortement protégées ou les sites nécessitant une connexion ou comportant un captcha, il est préférable de confier une demande de développement à un développeur Hashscraper afin qu’il crée directement un collecteur, plutôt que d’utiliser un bot IA.
Questions fréquentes
Q. La création a-t-elle un coût ?
La création et la collecte de démonstration sont gratuites. Seules les données réellement collectées sont facturées, à partir de 25 crédits par élément ; si ce montant change après vérification par un administrateur, vous en serez informé par notification.
Q. Peut-on vraiment le faire sans connaître le moindre code ?
Oui. Il suffit d’écrire avec des mots l’adresse et les éléments souhaités. Par exemple : « Je veux rechercher des shampoings sur la boutique OO et collecter le nom des produits, le prix et le nombre d’avis. »
Q. Où vont les contenus de la conversation ?
Ils sont transmis à un fournisseur externe de services d’IA (aux États-Unis) afin de créer et de valider le bot. C’est pourquoi nous demandons de ne pas écrire de données personnelles ni de mots de passe dans la conversation.
Conclusion
Créer un bot de crawling était jusqu’à présent une tâche de développement consistant à « lire la structure d’une page, choisir des sélecteurs et programmer la pagination ». La création de bots avec l’IA transforme ce travail en conversation. Vous commencez avec une seule ligne d’adresse, répondez à deux questions, consultez le résultat de démonstration, puis collectez les données avec un bot validé par une personne. Cette fonctionnalité étant encore en bêta, certains points peuvent être perfectibles. Essayez-la et faites-nous part de vos retours : nous les corrigerons rapidement.
Commencer dès maintenant
- Créer directement un bot : Créer un bot avec l’IA (bêta)
- Pour un site avec connexion ou blocage : Demander un crawling
