Comment recevoir automatiquement chaque matin les données sur les nouveaux produits et les ruptures de stock des concurrents ? — Un nouveau produit n’est pas une « valeur », mais une « différence ».

"Chaque matin à 8 h, je souhaite recevoir uniquement les nouveaux produits ajoutés hier par les concurrents et les produits en rupture de stock."

La demande tient en une seule phrase. Pourtant, lorsqu’on demande un devis, la conversation dérive sans cesse vers « Peut-on collecter ce site ? ».

La difficulté de cette demande n’est pas la collecte.

Les listes de produits des concurrents sont déjà toutes affichées à l’écran. Il suffit d’ouvrir la page pour les voir.

Il n’y a qu’une chose qui n’est pas visible : lesquels n’existaient pas hier.

Les prix sont affichés sur l’écran d’aujourd’hui. Les nouveaux produits et les ruptures de stock n’existent que si l’on dispose de la liste d’hier.

Et cette différence se traduit directement en chiffre d’affaires. Connaître un nouveau produit concurrent ne serait-ce qu’un jour plus tôt crée un délai de réaction, et repérer le moment où le produit phare d’un concurrent tombe en rupture permet de viser le bénéfice indirect d’une demande qui se reporte vers nous. À l’inverse, si l’on manque le réapprovisionnement d’un produit en concurrence directe avec notre best-seller, cette fenêtre se ferme discrètement. Le suivi des nouveaux produits et des ruptures n’est pas une « compréhension de la situation », mais un moyen de gagner du temps de réaction.

Résumé en 3 lignes (TL;DR)

• Les nouveaux produits et les ruptures de stock ne sont pas des valeurs lues sur une page, mais la différence (diff) entre la liste d’hier et celle d’aujourd’hui. Le premier élément à concevoir n’est donc pas le crawler, mais un snapshot de référence enregistré chaque jour selon les mêmes critères.
• Le deuxième obstacle est que les indications de rupture ne sont pas standardisées. Rupture de stock, rupture temporaire, alerte de réapprovisionnement ou rupture au niveau des options sont exprimées différemment selon les sites. Sans définir ce qui compte comme une rupture, on accumule chaque jour des chiffres mesurés avec des règles différentes.
• « Chaque matin » ne désigne pas l’heure de collecte, mais l’heure de réception. Pour une réception à 8 h, il faut planifier à rebours en incluant le temps de vérification et de nouvelle tentative ; et si l’on envoie tout sans seuil, plus personne n’ouvrira le rapport dès la troisième semaine.

Table des matières

• Que sont le suivi des nouveaux produits et le suivi des ruptures de stock ?
• Si vous jetez la liste d’hier, les nouveaux produits d’aujourd’hui resteront invisibles à jamais
• La rupture de stock s’exprime différemment selon les sites
• Chaque matin n’est pas l’heure de collecte, mais l’heure de réception
• Un rapport qui affiche 200 éléments par jour, plus personne ne le consulte dès la troisième semaine
• Tableau comparatif par méthode : vérification humaine vs outil no-code vs service géré
• Autodiagnostic en 5 questions avant de commencer
• Les 5 étapes de mise en place
• Questions fréquentes
• Conclusion

---

Que sont le suivi des nouveaux produits et le suivi des ruptures de stock ?

Le suivi des nouveaux produits consiste à collecter à intervalles définis les listes de produits des concurrents et des canaux de vente, puis à déterminer automatiquement si des produits absents au point de référence sont nouvellement apparus.

Le suivi des ruptures de stock consiste à collecter périodiquement le statut de disponibilité d’un même produit et à repérer le moment où son état change, par exemple de en vente → en rupture, ou de en rupture → réapprovisionné.

Les deux définitions contiennent les mêmes mots : absent, et changé.

C’est là que cela se distingue du suivi des prix.

Pour les prix, une seule page d’aujourd’hui suffit. Le chiffre est affiché à l’écran.

Pour les nouveaux produits et les ruptures, la page d’aujourd’hui seule ne permet pas de répondre. Il faut disposer d’hier pour comparer.

Ce travail est donc plus proche de la comparaison que de la collecte. Les critères de conception pour les prix sont détaillés séparément dans Service de collecte pour la comparaison et le suivi des prix e-commerce : comment le choisir ?.

---

Si vous jetez la liste d’hier, les nouveaux produits d’aujourd’hui resteront invisibles à jamais

Un snapshot de référence est un ensemble de données qui enregistre intégralement, à un instant donné, la liste et l’état des produits afin de servir de base de comparaison avec le cycle suivant.

Pour que la comparaison fonctionne, trois éléments doivent rester fixes.

• Identifiant — Qu’est-ce qui sera considéré comme le même produit ? (ID produit, URL, nom du produit + option)
• Périmètre — Le périmètre de collecte d’hier et d’aujourd’hui est-il identique ?
• Horaire — Le snapshot est-il pris chaque jour à la même heure ?

C’est sur le deuxième point que les incidents sont les plus fréquents.

Si vous avez collecté 3 pages de liste hier et 5 aujourd’hui, le rapport affichera des dizaines de nouveaux produits. Alors qu’aucun ne l’est réellement.

Un problème encore plus délicat subsiste. Un produit vu pour la première fois n’est pas forcément un nouveau produit.

Un produit peut apparaître pour la première fois dans la liste pour au moins quatre raisons.

• Véritable nouveau produit — nouvellement lancé
• Réinscription après refonte — une nouvelle page produit a été créée après modification du volume ou de l’emballage
• Ajout d’options — des couleurs ou tailles ajoutées à un produit existant le font apparaître comme un produit distinct
• Retour après réapprovisionnement — le produit avait disparu de la liste parce qu’il était en rupture, puis il réapparaît

Le quatrième cas est un faux positif particulièrement discret. De nombreux sites retirent entièrement de la liste les produits en rupture ; chaque réapprovisionnement est donc détecté comme un nouveau produit.

La distinction se fait non par la technologie, mais par des règles. Un nouvel ID produit a-t-il été attribué ? Faut-il exclure comme candidat à la refonte les produits dont la similarité de nom dépasse un seuil ? Faut-il considérer comme une réapparition un produit qui figurait dans la liste au cours des 30 derniers jours ?

Après avoir accompagné la collecte de plus de 500 entreprises, le premier échec des rapports sur les nouveaux produits n’était généralement pas le blocage. C’était l’absence de liste d’hier.

Qui rédige ces règles, et qui les maintient lorsque le site est refondu ? En réalité, tout le projet se résume à cette question.

---

La rupture de stock s’exprime différemment selon les sites

La rupture de stock n’est pas non plus une valeur unique. Chaque site affiche différemment la même situation : « impossible d’acheter maintenant ».

• Rupture de stock / rupture temporaire / réapprovisionnement prévu / vente suspendue
• Le bouton d’achat disparaît et seule l’option « demander une alerte de réapprovisionnement » reste disponible
• Le bouton reste présent, mais toutes les options sont indisponibles lorsqu’on les ouvre
• Seulement 3 options sur 12 sont en rupture (le produit lui-même reste en vente)
• Le produit disparaît entièrement des résultats de recherche

Une décision opérationnelle est nécessaire ici.

« Si 3 options sur 12 d’un produit sont en rupture, ce produit est-il en rupture ou non ? »

Si l’équipe ne peut pas répondre à cette question en une phrase, le nombre de ruptures reçu chaque jour est un chiffre compté chaque fois selon un critère différent.

Une approche raisonnable consiste à enregistrer deux niveaux.

• Niveau produit — Peut-on l’acheter maintenant ? (possible / impossible)
• Niveau option — Combien d’options sont indisponibles sur l’ensemble des options ?

Conservez également le libellé original affiché à l’écran. Si le site modifie sa formulation, vous pourrez reclasser rétroactivement les données historiques.

Certains sites affichent une quantité en stock, comme « Plus que 3 exemplaires ». Contrairement aux nouveaux produits et aux ruptures, ce chiffre est une « valeur » directement lisible sur la page d’aujourd’hui ; il vaut toutefois la peine de le conserver comme signal précurseur d’une rupture. Si vous repérez le moment où le stock passe sous un seuil, vous pouvez agir non pas « après » la rupture, mais « avant » qu’elle ne survienne. Cependant, la précision et le mode d’affichage des quantités de stock varient aussi selon les sites ; il est donc plus sûr de les utiliser comme signal complémentaire uniquement sur les sites qui les fournissent, et de se baser ailleurs uniquement sur l’état disponible / indisponible.

Le dernier cas, la disparition des résultats de recherche, doit être traité séparément. Rupture de stock, fin de commercialisation ou variation de notre périmètre de collecte : les trois se présentent exactement de la même manière à l’écran.

La rupture de stock n’est pas un état, c’est une définition. Sans définition écrite, on accumule chaque jour des chiffres mesurés avec des règles différentes.

---

Chaque matin n’est pas l’heure de collecte, mais l’heure de réception

L’exigence est « un e-mail à 8 h du matin », mais la conception s’arrête généralement à « lancer le crawler à l’aube ». Il faut inverser l’ordre.

Comptez à rebours depuis l’heure de réception. Cela varie selon le volume cible et la difficulté des sites, mais la structure ressemble à ceci.

Deux cases sont souvent laissées vides : la vérification et la nouvelle tentative.

Si vous planifiez en supposant que la collecte réussira du premier coup, le rapport sera vide ou arrivera en retard les jours d’échec. Un pipeline sans marge reste silencieux les jours où il échoue.

Il faut maintenir chaque jour la même heure de snapshot pour la même raison. Si le snapshot est pris à 3 h du matin hier et à 9 h aujourd’hui, les produits ajoutés entre-temps seront détectés sur deux jours différents ou entièrement manqués.

La difficulté n’est pas « le matin », mais « chaque jour ». Le créer une fois peut prendre une journée ; le faire arriver chaque jour à la même heure, selon les mêmes critères, relève de l’exploitation.

---

Un rapport qui affiche 200 éléments par jour, plus personne ne le consulte dès la troisième semaine

Si vous surveillez toutes les catégories de trois concurrents, les changements de nouveaux produits et de ruptures peuvent atteindre plusieurs centaines d’éléments par jour.

La première semaine, tout le monde les lit. La deuxième, on les parcourt. La troisième, personne n’ouvre le rapport.

C’est pourquoi les seuils représentent la moitié de la conception du rapport.

• Périmètre — Commencez non pas par toutes les catégories, mais par les catégories, gammes de prix et marques auxquelles vous réagissez réellement
• Importance — Épinglez en haut uniquement les nouveaux produits des catégories principales et les ruptures des produits en concurrence avec nos best-sellers
• Regroupement — Pas d’envoi par élément : un résumé quotidien. Les 10 principaux en haut + le détail complet en pièce jointe
• Destinataires — Les nouveaux produits pour l’équipe de planification produit, les ruptures pour les ventes et les MD. Personne ne doit recevoir une alerte qui ne le concerne pas

L’objectif du rapport n’est pas de tout montrer. C’est de ne laisser que ce qu’il faut consulter aujourd’hui.

La conception d’une boucle allant de la détection à l’action est présentée dans Le monitoring n’est pas la collecte, mais l’alerte — créer une boucle de réaction.

---

Tableau comparatif par méthode : vérification humaine vs outil no-code vs service géré

Un service de collecte géré est un service par abonnement dans lequel un prestataire exploite à la place de l’entreprise le développement des crawlers, la gestion des blocages, les corrections lors des modifications de sites, la détection d’anomalies et la livraison à heure fixe ; l’entreprise ne reçoit que les rapports de résultats.

Voici comment les trois méthodes se distinguent lorsqu’on les compare selon les mêmes axes.

Les lignes à regarder dans ce tableau sont les deux ci-dessus : la détection des nouveaux produits et la gestion des indications de rupture. Tout le reste découle de cette décision.

Ce n’est pas parce que les outils no-code sont insuffisants. C’est parce que ces deux lignes relèvent de la définition, non de la fonctionnalité de l’outil. Octoparse et Thunderbit exécutent consciencieusement les règles configurées, jusqu’à l’exécution planifiée (selon leurs sites officiels). Mais la décision « compare avec hier et ne garde que les lignes nouvellement apparues » reste à la charge de l’humain.

Si vous disposez d’une équipe de développement, il existe une quatrième option. Vous pouvez acheter la couche de collecte via des API de scraping pour développeurs telles que Zyte et Firecrawl, puis développer vous-même la conservation des snapshots, la comparaison et la génération de rapports (selon les sites officiels respectifs). C’est l’option qui offre le plus de liberté.

Cependant, les trois éléments abordés dans cet article — gestion des snapshots, dictionnaire des indications de rupture et livraison à heure fixe — ne sont définis par aucune API. Ils restent entièrement à la charge de ceux qui construisent la solution.

Hashscraper fournit cette approche de service géré en s’appuyant sur une expérience de collecte sur plus de 5 000 sites en Corée et des proxys dans 195 pays ; plus de 500 entreprises l’utilisent.

---

Autodiagnostic en 5 questions avant de commencer

Vérifiez ces points. Ces cinq lignes sont plus rapides que trois devis.

• [ ] La liste de produits collectée hier est-elle encore conservée aujourd’hui — sous une forme permettant une comparaison ligne par ligne avec celle d’aujourd’hui ?
• [ ] Existe-t-il un document définissant les règles permettant de distinguer un « produit vu pour la première fois » entre nouveau produit, refonte, ajout d’option et réapprovisionnement ?
• [ ] L’équipe peut-elle répondre en une phrase à la question de savoir si un produit dont « seulement certaines options sont en rupture » doit être compté comme en rupture ?
• [ ] Lorsqu’une collecte échoue, le destinataire peut-il distinguer si le rapport est arrivé vide ou n’est pas arrivé du tout ?
• [ ] Une action a-t-elle réellement été menée après consultation du rapport de la semaine dernière ?

Si la réponse à la première question est « non », vous n’en êtes pas encore à comparer des outils. Il faut d’abord commencer à enregistrer les listes dès aujourd’hui.

Si la réponse à la cinquième question est « non », le problème n’est pas la collecte, mais les seuils. Réduire le périmètre produira des effets bien plus rapidement.

---

Les 5 étapes de mise en place

Étape 1. Réduisez les cibles à surveiller — Commencez non pas par « tous les concurrents », mais par « les produits concurrents des catégories auxquelles nous réagissons ». Plus le périmètre est large, plus les faux positifs le sont aussi.

Étape 2. Rédigez sur une page les règles de détection et la définition de la rupture — Quel est l’identifiant, comment distinguer une refonte d’un nouveau produit, comment compter les ruptures d’options. Cette page constitue le document de définition des exigences.

Étape 3. Établissez le calendrier à rebours depuis l’heure de réception — Positionnez à rebours la collecte, les nouvelles tentatives, la vérification et l’envoi. L’essentiel est de ne pas laisser vides les cases de vérification et de nouvelle tentative.

Étape 4. Définissez le format de livraison et les seuils — Envoyez les données là où le responsable travaille déjà : Excel, e-mail, Slack ou API. Pour les critères de décision selon le format, consultez Données reçues dans Excel vs données consultées dans un tableau de bord.

Étape 5. Lancez un pilote de 2 semaines pour éliminer les faux positifs, puis étendez — Pendant les deux premières semaines, comparez manuellement les nouveaux produits signalés dans le rapport. C’est à ce moment que tous les faux positifs apparaissent : refontes comptées comme nouveaux produits ou réapprovisionnements comptés comme nouveaux produits.

Ce qu’il faut faire aujourd’hui n’est pas de choisir un prestataire. C’est l’étape 2 : écrire en une phrase ce que signifient « nouveau produit » et « rupture de stock » pour votre équipe.

---

Questions fréquentes

Q. Je souhaite recevoir automatiquement chaque matin les données sur les nouveaux produits et les ruptures de stock des concurrents. Comment faire ?
A. Il y a trois étapes. ① Réduire la liste des cibles (quelles catégories de quels sites) ② définir les règles de détection (ce qui compte comme nouveau produit et comme rupture) ③ établir à rebours, depuis l’heure de réception, le calendrier de collecte, vérification et envoi. Ensuite, choisissez la méthode. Si les cibles sont peu nombreuses et qu’une personne en interne peut corriger les règles lorsqu’elles ne fonctionnent plus, vous pouvez commencer avec l’exécution planifiée d’outils no-code tels qu’Octoparse ou Thunderbit (selon les sites officiels). Si les cibles augmentent ou que le travail dépend d’un rapport chaque matin, un service de collecte géré est plus réaliste. Hashscraper conçoit et exploite le service en intégrant la conservation des snapshots, les règles de détection et la livraison à heure fixe.

Q. Comment distinguer un nouveau produit d’une refonte ?
A. La distinction ne peut pas être automatisée à 100 %. Il faut la réduire par des règles : un nouvel ID produit a-t-il été créé, la similarité du nom du produit dépasse-t-elle un seuil, le produit figurait-il dans la liste au cours des N derniers jours ? En combinant ces trois signaux, on classe les produits en « nouveau produit / candidat à la refonte / réapparition », puis seuls les candidats sont vérifiés par une personne. C’est l’approche la plus stable en pratique.

Q. Les indications de rupture diffèrent selon les sites. Peut-on les unifier ?
A. Créez un dictionnaire de libellés par site afin de les normaliser en une seule valeur d’état. Il est alors important de conserver aussi le libellé original affiché à l’écran. Vous pourrez ainsi reclasser les données historiques même si le site modifie sa formulation.

Q. Peut-on recevoir les données sur Slack ou via API plutôt que dans Excel ?
A. Oui. Hashscraper prend en charge, entre autres, les fichiers Excel, l’envoi automatique par e-mail, l’intégration API et l’insertion directe en base de données. Le principe est simple : envoyez-les là où le responsable travaille déjà. Une structure dont il faut aller consulter les données et une structure où les données arrivent directement n’offrent pas la même vitesse de réaction.

Q. À quelle fréquence faut-il collecter les données de rupture de stock ?
A. Adaptez-la à votre cycle de réaction. Si les décisions sont prises lors d’une réunion chaque matin, une collecte quotidienne suffit. Pour les catégories de produits dont le stock peut s’épuiser en moins d’une journée, concevez un intervalle plus court ; mais réduire l’intervalle augmente à la fois le risque de blocage et le coût. Le critère n’est pas la limite technique, mais la vitesse de réaction.

---

Conclusion

Voici comment résumer la conception d’un « rapport quotidien du matin sur les nouveaux produits et les ruptures de stock ».

1. Conservez la liste d’hier — Sans snapshot de référence, il est impossible de calculer les nouveaux produits comme les ruptures
2. Définissez ce qui compte comme nouveau produit et rupture — Des règles pour distinguer les refontes, ajouts d’options et réapprovisionnements
3. Planifiez à rebours depuis l’heure de réception — Ne laissez pas vides les étapes de vérification et de nouvelle tentative
4. Ne gardez que ce qu’il faut voir aujourd’hui — Un rapport de 200 éléments équivaut à un rapport de 0 élément

Un prix se lit ; un nouveau produit et une rupture se comptent.

Compter nécessite une règle. La même règle qu’hier.

Ce dont vous avez besoin n’est pas de la liste de produits d’aujourd’hui. C’est de la différence entre hier et aujourd’hui.

Une collecte qui ne conserve pas hier manquera éternellement les nouveaux produits d’aujourd’hui.

---

Commencer dès maintenant

Indiquez-nous les concurrents et catégories à surveiller ainsi que l’heure de réception souhaitée ; nous évaluerons gratuitement la faisabilité de la collecte et la manière de définir les règles de détection des nouveaux produits et des ruptures. À l’inscription, 50 000 crédits sont offerts afin de vérifier d’abord la qualité des résultats.

Demander une solution de crawling