Que devrais-je préparer avant de poser une question?
Pour ceux qui envisagent de sous-traiter le web scraping pour la première fois, le point sur lequel ils hésitent le plus est étrangement la question elle-même. "Comment expliquer quelque chose que je ne connais pas techniquement", "Que devrais-je décider et communiquer avant de contacter" - ces questions retardent souvent l'examen de plusieurs semaines.
En conclusion, il n'est pas nécessaire de se préparer parfaitement avant de poser une question. Les critères sont généralement affinés après la question, et ce processus fait partie intégrante de la procédure d'introduction. Cependant, si vous connaissez le déroulement global, chaque étape sera plus rapide. Cet article est un guide qui résume les étapes de la question à la réception des premières données.
Les 7 étapes du processus d'introduction
1. Question
C'est l'étape où vous indiquez quelles données vous souhaitez collecter et comment vous comptez les utiliser. Une phrase comme "Je veux surveiller les prix des concurrents" est suffisante. Il n'est pas nécessaire de préciser le site cible ou les éléments à collecter.
2. Définition des exigences
Sur la base de la question, nous définissons ensemble le site cible, les éléments à collecter (champs), l'échelle et la fréquence de la collecte, ainsi que le format de livraison. Si vous nous communiquez votre objectif, nous pouvons également vous proposer "ce site et cet élément sont nécessaires pour cet objectif".
3. Évaluation de la faisabilité de la collecte
C'est l'étape où nous vérifions effectivement le site cible défini. Nous évaluons la possibilité de collecte en vérifiant l'intensité du blocage, la nécessité de se connecter, et si les éléments souhaités sont présents à l'écran. Des ajustements tels que "cet élément n'est pas présent sur ce site" ou "ce canal est mieux avec une autre source" peuvent être apportés à ce stade.
4. Devis
Sur la base des résultats de l'évaluation, nous vous fournissons un devis. Le devis est gratuit, et nous vous guidons également sur le choix entre la tarification à l'acte et par abonnement à ce stade. Si vous vous demandez comment les coûts sont structurés, la lecture préalable des articles sur les devis et les comparaisons de coûts totaux (TCO) accélérera la conversation.
5. Contrat
Nous finalisons les tarifs, la durée et les conditions de livraison. Trois points à vérifier à ce stade sont : si des frais supplémentaires sont facturés pour l'ajout de sites, si la maintenance est incluse, et s'il est possible de modifier ou de résilier en cours de route.
6. Intégration (Configuration initiale et vérification)
C'est l'étape où nous configurons le crawler et vérifions les premiers résultats de collecte. Nous vérifions si les champs sont correctement définis, si le format des valeurs est approprié, et nous apportons des ajustements si nécessaire. Plus vous effectuez minutieusement cette vérification, plus le fonctionnement ultérieur sera fluide.
7. Livraison et exploitation régulières
Les données commencent à arriver à intervalles définis. Nous nous occupons de l'exploitation, de la maintenance et de la surveillance du crawler, et si un site change et perturbe la collecte, nous le détectons et y répondons en premier lieu.
Ce qu'il est bon de préparer avant de poser une question
Bien que ce ne soit pas obligatoire, si les éléments suivants sont préparés, la définition des exigences (étape 2) sera considérablement réduite.
- Objectif : Quelle décision voulez-vous prendre avec ces données (le plus important)
- Site cible : Quelques URL candidates (pas besoin de confirmation)
- Éléments à collecter : Informations nécessaires (ex : nom du produit, prix, texte de l'avis, évaluation)
- Échelle et fréquence : Nombre approximatif de mots-clés, de produits, quotidien/hebdomadaire, etc.
- Format de livraison : Préférence entre Excel, e-mail, API, intégration de base de données, tableau de bord
- Plans futurs : Possibilité d'ajouter des sites ou des éléments à l'avenir
Il est possible de poser une question même si tout est vide. Cependant, plus le premier élément (objectif) est clair, mieux c'est. Si l'objectif est clair, nous pouvons compléter le reste.
Ce qu'il faut regarder lors de l'évaluation de la faisabilité de la collecte
Étant donné que l'étape 3 est cruciale pour la qualité du processus d'introduction, voici quelques explications supplémentaires. Trois éléments sont vérifiés à cette étape.
- Accessibilité : Intensité du blocage et barrières de connexion du site cible. Les sites avec un blocage fort nécessitent une infrastructure de contournement, ce qui affecte la difficulté et les coûts.
- Présence des éléments : Si les informations souhaitées sont réellement présentes à l'écran. Les éléments absents ne peuvent pas être collectés avec aucune technologie, donc à ce stade, nous cherchons des sources alternatives ou ajustons les éléments.
- Stabilité de la structure : La solidité de la structure de la page pour la collecte. Les sites sujets à des refontes fréquentes entraînent une charge de maintenance plus lourde, ce qui influe sur le choix du modèle de tarification (abonnement ou non).
Si une entreprise saute cette évaluation et passe directement au contrat, une attention particulière est nécessaire. Découvrir que la collecte est impossible après la signature du contrat entraîne des pertes de temps et d'argent.
Après le début de l'exploitation : Comment fonctionnent les demandes supplémentaires
Avec la tarification à l'acte, l'ajout de sites ou d'éléments en cours d'exploitation est une nouvelle commande - une demande de devis, de proposition et de nouveaux frais de développement.
Avec l'abonnement, ce processus se réduit à une seule demande. Le développement supplémentaire est inclus dans l'abonnement mensuel, donc si vous demandez "ajoutez également ce site", cela sera pris en compte sans devis séparé. Cela signifie que vous n'avez pas à refaire les étapes 1 à 5 du processus d'introduction, raccourcissant ainsi l'intervalle entre le besoin de données et le début de la collecte.
Questions fréquemment posées
Q. Est-il nécessaire de connaître la technologie?
Non. Ce dont vous avez besoin, c'est de savoir "ce que vous voulez faire avec quelles données". La structure du site et la technologie de collecte sont des domaines que nous évaluons.
Q. Combien de temps faut-il pour l'introduction?
Cela dépend de la clarté des exigences. Si la cible et les éléments sont définis, l'évaluation et le devis seront plus rapides, et si vous commencez dès la définition des exigences, les étapes précédentes seront plus longues. Si vous communiquez vos exigences de calendrier au moment de la question, nous vous guiderons en conséquence.
Q. Puis-je prendre une décision après avoir vu les données?
Lors de l'intégration, vous vérifiez les premiers résultats de collecte en les examinant et en ajustant les champs et les formats. Avant la signature du contrat, nous vous informons sur la forme des éléments en fonction des résultats de l'évaluation de la faisabilité de la collecte.
Articles utiles à consulter ensemble
- Devis de web scraping, pourquoi varient-ils d'une entreprise à l'autre - Structure des coûts et coûts cachés
- Web scraping par abonnement vs facturation à l'acte, la réponse réside dans le coût total annuel (TCO)
- Comment choisir une entreprise de web scraping - 7 points à vérifier avant de sous-traiter la collecte de données
Commencez dès maintenant
Avec un objectif en une ligne, vous pouvez commencer. Nous vous aiderons à organiser les étapes restantes.
