"Peut-on demander à ChatGPT de le faire ?"
La question la plus posée par ceux qui envisagent actuellement la collecte de données. C'est une question valable. Si vous demandez à ChatGPT ou à Claude de "créer un code Python pour collecter les noms et les prix des produits sur ce site", vous obtiendrez assez rapidement un code de crawler assez convaincant. Il y a quelques années, cela aurait nécessité l'embauche d'un développeur.
Ainsi, cet article ne dit pas "Cela ne fonctionne pas avec l'IA". Il y a certainement des limites à ce qui peut être fait, et s'il est possible de le faire, il est préférable de le faire soi-même. Cependant, une fois que vous avez une idée claire de ce qui peut être fait avec l'IA et à partir de quel point d'autres problèmes commencent, vous pouvez réduire considérablement les essais et erreurs.
Commençons par reconnaître ce qui fonctionne
Pour un site à structure simple, une petite quantité de données, et une collecte unique, un crawler créé par l'IA est suffisant. Vous pouvez corriger et améliorer le code en dialoguant avec l'IA sans même connaître le code, et cela ne vous coûtera pratiquement rien. En fait, il y a un article sur notre blog qui explique comment créer un bot de crawling avec ChatGPT.
Voici ce que l'IA fait bien :
- Rédaction du code du crawler lui-même - trouver les sélecteurs, la logique d'analyse, jusqu'à l'enregistrement dans Excel
- Proposer des solutions de correction de code en cas d'erreurs
- Code de nettoyage et de traitement des données collectées
Jusqu'ici, l'ère de l'IA a rendu ces tâches beaucoup plus faciles. Le problème est que le code n'est que la moitié du travail en matière de crawling.
Cinq points de blocage
1. Le blocage est un problème d'infrastructure, pas de code
Les codes générés par l'IA utilisent principalement des méthodes de requête de base. Ils fonctionnent sur de petits sites, mais sont rapidement bloqués sur des sites plus importants comme les plateformes de commerce électronique, les portails et les réseaux sociaux qui sont sensibles aux bots. Votre adresse IP peut être bloquée, des captchas peuvent apparaître, ou l'écran peut rester vide.
Pour contourner cela, il faut une meilleure infrastructure, pas un meilleur code. Les IPs dynamiques (proxy résidentiel), la gestion des empreintes de navigateur, la réponse aux captchas - tout cela ne peut pas être résolu par la génération de code, mais relève de domaines qui nécessitent des investissements en argent et en exploitation. Même si vous demandez à l'IA de "contourner le blocage", cela ne pourra pas être exécuté sans une infrastructure adéquate.
2. Pannes silencieuses - l'IA ne peut pas détecter les erreurs invisibles
La structure de l'écran du site peut changer sans avertissement, et à ce moment-là, le crawler peut s'arrêter ou commencer à accumuler des valeurs vides. L'IA peut apporter des corrections si on le lui demande, mais elle ne vous informera pas en premier lieu que quelque chose s'est cassé.
C'est à ce stade que les choses deviennent effrayantes en exploitation. Découvrir après deux semaines que la collecte de données a échoué et le constater lors de l'analyse de fin de mois - les données de la période écoulée ne pourront pas être récupérées. Pour l'automatisation de la collecte, il est essentiel d'avoir un système de surveillance comprenant la surveillance du volume de données collectées, la détection des anomalies et les alertes, mais ceci est un système externe au code du crawler.
3. Dans des structures complexes, c'est finalement l'humain qui débogue
Dans des structures telles que les pages dynamiques où le contenu se charge au fur et à mesure du défilement, les sessions de connexion, les cadres imbriqués, les taux de réussite du code généré par l'IA chutent brusquement. Tenir bon entre le "ça marche" et le "ça ne marche pas" avec le code, en échangeant des allers-retours avec l'IA, nécessitera à un moment donné quelqu'un capable de lire le code. Si vous avez commencé sans connaissances en programmation, c'est ici que se situe le véritable obstacle.
4. La collecte régulière et en masse est un système, pas un script
Pour collecter de manière stable des milliers de données chaque jour, vous avez besoin de dispositifs tels que la planification, les tentatives de reprise en cas d'échec, la déduplication, la validation du format des valeurs. Un script qui s'exécute une fois et un système de collecte quotidien sont deux choses différentes. L'IA peut générer le code pour ces composants, mais l'assemblage et l'exploitation restent toujours du ressort de l'humain.
5. Les décisions juridiques et la responsabilité ne relèvent pas de l'IA
Savoir si les données collectées sont publiques, s'il y a des problèmes de confidentialité ou de droits d'auteur, si les conditions générales et les aspects de charge serveur posent problème - l'IA peut donner des conseils, mais la décision et la responsabilité incombent à l'utilisateur. En particulier, si vous prévoyez d'utiliser les données collectées à des fins commerciales, il est essentiel d'aborder ces questions avant de commencer.
En changeant de perspective : l'IA a réduit les coûts de développement, et c'est pourquoi la valeur réside dans l'exploitation
La conclusion qui traverse ces cinq points est la suivante. Ce que l'IA a réduit, ce sont les coûts de développement du crawler, mais les coûts réels du crawling se trouvent de plus en plus dans l'exploitation. La gestion des blocages, la détection et la réparation des pannes, la gestion de la qualité des données - ces aspects étaient déjà difficiles auparavant, mais avec la facilité de développement actuelle, l'écart est devenu plus marqué.
C'est pourquoi nous utilisons également l'IA. Si le crawler s'arrête en raison d'un changement sur le site, l'IA analyse d'abord la cause, propose une solution, puis un humain vérifie et intègre les modifications. Grâce à l'IA, les réparations sont plus rapides, mais ce qui fait travailler l'IA, ce sont les systèmes de surveillance, l'infrastructure et les processus de vérification. L'IA seule et l'IA intégrée dans un système d'exploitation - la différence réside ici dans les résultats.
Alors, quand faut-il utiliser directement l'IA et quand faut-il déléguer ?
| Situation | Recommandation |
|---|---|
| Site simple, petite quantité, unique | Directement avec l'IA - suffisant et le moins cher |
| Personne capable de manipuler du code, cible non exigeante | Assistance de l'IA + Exploitation directe envisageable |
| Sites avec blocages forts (grandes plateformes de commerce électronique, réseaux sociaux, etc.) | L'infrastructure est cruciale - domaine des services de collecte |
| Collecte quotidienne ou hebdomadaire, données liées aux activités | Surveillance et maintenance cruciales - domaine des services de collecte |
En résumé : Confiez à l'IA les codes à exécuter une fois, et confiez à un système d'exploitation la collecte continue. C'est la solution la plus raisonnable.
Questions fréquentes
Q. Si l'IA se développe davantage, ne pourra-t-elle pas gérer automatiquement l'exploitation des crawlers ?
La vitesse de réparation continuera à s'améliorer. Nous utilisons déjà l'IA dans cette direction. Cependant, la gestion des blocages (proxies, etc.) et la "détection des pannes" sont des problèmes différents de la génération de code, et plus l'IA s'améliore, plus ces aspects opérationnels deviennent importants.
Q. Si je me retrouve bloqué en essayant de créer avec l'IA, puis-je déléguer à ce moment-là ?
Oui, c'est possible. En fait, de nombreuses personnes le font, et ceux qui ont déjà essayé le font plus rapidement car les exigences sont claires. Partager le code essayé ou les points bloquants peut aider dans l'évaluation.
Q. Quelle est la différence si je délègue après avoir utilisé l'IA pour créer ?
En ce qui concerne le développement du crawler, les différences s'estompent. Les différences se trouvent dans l'exploitation - la gestion des blocages, la surveillance et les alertes automatiques, les réparations gratuites en cas de changement de site, la validation de la qualité des données sont intégrées dans le service.
Articles complémentaires
- Créer un bot de crawling Coupang avec ChatGPT : Extraction d'informations produit à partir des résultats de recherche
- Pourquoi les équipes de données des grandes entreprises renoncent-elles au crawling direct ?
- Comment commencer l'extraction de données web - Comparaison de 4 méthodes, du copier-coller manuel aux services de collecte
- Abonnement au crawling vs facturation individuelle - Si vous ne comparez pas les coûts totaux sur un an (TCO), vous risquez de perdre de l'argent
Commencez dès maintenant
Vous avez essayé avec l'IA mais vous êtes bloqué ? Si vous nous communiquez le site cible et les points bloquants, nous pouvons diagnostiquer gratuitement la faisabilité de la collecte et la méthode appropriée.
