Une entreprise qui achète trois fois les données de concurrents
C'est courant dans une entreprise. L'équipe marketing externalise la collecte des prix des concurrents à une entreprise tierce, l'équipe commerciale utilise un stagiaire pour scraper le même site en Python, et l'équipe produit s'abonne à un service d'étude de marché SaaS. Ainsi, trois départements acquièrent essentiellement les mêmes données sans le savoir.
Du point de vue de chaque département, c'est un choix raisonnable. Ils ont identifié les données nécessaires et trouvé leur propre méthode. Cependant, du point de vue de l'entreprise dans son ensemble, cela entraîne des coûts redondants, une qualité variable, et surtout une situation où des crawlers non gérés fonctionnent silencieusement. Cet article examine ce problème du point de vue de l'organisation et aborde la manière de concevoir une gouvernance qui centralise la collecte.
Trois coûts engendrés par la collecte dispersée
1. Coût de collecte redondant
Acheter séparément des données déjà acquises par plusieurs départements entraîne une dispersion du pouvoir de négociation et des dépenses totales plus élevées que nécessaires. Chaque contrat peut sembler insignifiant individuellement, mais combinés, ils représentent souvent des montants considérables.
2. Risque des crawlers fantômes
Des scripts créés par des individus, des outils introduits sans validation - des collectes que l'entreprise ne connaît pas sont en cours. Elles peuvent ne pas avoir été examinées par le service juridique et si la personne en charge quitte l'entreprise, personne ne peut toucher à la boîte noire. Le scénario le plus dangereux est lorsque des problèmes surviennent et que l'entreprise prétend "ne pas savoir que de telles collectes étaient en cours".
3. Données non fiables
Si les méthodes, critères et fréquences de collecte diffèrent entre les départements, les chiffres pour la même "prix des concurrents" peuvent varier. Lorsque les données des départements ne correspondent pas lors d'une réunion de direction, la discussion basée sur les données se transforme en débat sur "qui a raison".
Cause : la collecte est considérée comme une tâche départementale
La racine du problème réside dans le fait que chaque département est responsable de résoudre la collecte de données par lui-même. Les données des systèmes internes sont gérées selon des normes par l'organisation des données, tandis que les données web externes sont laissées sans gouvernance. La demande est dispersée entre plusieurs départements sans qu'il n'y ait d'entité centralisée pour standardiser l'approvisionnement, ce qui entraîne une situation où chacun fait sa propre chose.
La solution est claire. Centraliser la demande et standardiser l'approvisionnement.
Les 4 étapes de la conception de la gouvernance de la collecte d'entreprise
1. Diagnostic - Qui collecte quoi en ce moment
Commencez par comprendre la collecte dispersée. Faites une liste des données que chaque département acquiert, de la manière dont elles les acquièrent (externalisation, interne, SaaS) et du coût. C'est souvent à cette étape que les redondances et les crawlers fantômes sont révélés pour la première fois.
2. Intégration - Centraliser la demande
Regroupez les demandes des départements en demandes communes et individuelles. Collectez les données redondantes une seule fois pour que plusieurs départements puissent les utiliser, et ajoutez les données spécifiques à chaque département sur la même norme.
3. Standardisation - Unifier les modes d'approvisionnement
Définissez des normes pour les méthodes de collecte, les critères de qualité, les formats de livraison et les fréquences de mise à jour. Lorsque les données arrivent selon une norme, les chiffres entre départements correspondent et des informations sur l'origine et la fréquence sont conservées dans le catalogue pour faciliter les audits.
4. Délégation - Confier la responsabilité de l'exploitation à un seul endroit
Faites fonctionner la collecte standardisée par l'organisation interne des données ou externalisez-la à un seul guichet. L'objectif est de faire de la collecte une tâche "connue et gérée par l'entreprise". Les crawlers fantômes disparaissent et en cas de problème, les responsabilités sont clairement définies.
Les avantages de l'intégration : réduire les coûts et les risques simultanément
En centralisant la collecte, vous résolvez trois problèmes en même temps. Les redondances de collecte disparaissent, réduisant les coûts, les collectes non identifiées entrent dans le périmètre de gestion, réduisant les risques juridiques et de conformité, et les chiffres entre départements correspondent car les données arrivent selon une norme.
L'utilisation de l'externalisation accélère l'intégration. Fusionner différentes méthodes internes de chaque département prend du temps, mais en ajoutant les demandes de plusieurs départements sur un pipeline d'approvisionnement standardisé, le guichet unique se centralise naturellement. Hashscraper collecte, traite et livre plusieurs cibles et éléments en un seul abonnement, et peut les livrer dans des formats différents (Excel, API, DB, tableau de bord) pour chaque département, ce qui en fait un acteur clé dans le rôle de guichet unique de collecte d'entreprise. Comme dans le cas où un organisme de réglementation externalise la surveillance en ligne de dizaines de milliers de données à un pipeline, il est possible de regrouper de grandes quantités de demandes de plusieurs départements en un seul guichet.
Questions fréquemment posées
Q. Chaque département a des exigences différentes, comment les couvrir toutes avec un guichet unique ?
Même si les sites cibles et les éléments diffèrent, la structure d'approvisionnement - collecte, traitement, livraison - est commune. Ainsi, les exigences de chaque département peuvent être ajoutées sur un même pipeline. Les formats de livraison peuvent également être différents pour chaque département (Excel pour l'un, API pour l'autre).
Q. Si chaque département a déjà signé des contrats, faut-il les changer tous en même temps ?
Non. En général, commencez par éliminer les redondances lors du diagnostic, puis intégrez progressivement en fonction des renouvellements de contrat. Rien que le fait de regrouper les doublons réduit les coûts et les risques.
Q. En centralisant, ne risque-t-on pas de dépendre d'un fournisseur spécifique ?
Si vous sécurisez la propriété des données et le format de livraison standard (transférable comme Excel, API, etc.) dans le contrat, le risque de dépendance est réduit. L'objectif de la gouvernance est d'établir non pas un fournisseur spécifique, mais une "norme gérée par l'entreprise".
Articles connexes
- Acheter des données externes, les construire en interne ou externaliser - un cadre de décision pour l'achat, la construction et l'externalisation
- Abonnement au scraping vs facturation individuelle - Si vous ne comparez pas les coûts totaux sur un an, vous risquez de perdre de l'argent
- Du scraping de données à la prise de décision
- Pourquoi les équipes de données des grandes entreprises renoncent-elles au scraping direct ?
Commencez dès maintenant
La première étape consiste à comprendre la collecte dispersée par département. Si vous nous indiquez quelles données vous collectez actuellement et comment, nous vous aiderons à diagnostiquer les opportunités d'économies et les solutions de standardisation lors de l'intégration.
