Ein Unternehmen, das in jedem Bereich separat crawlt - Unternehmensweite Datenerfassungs-Governance zur Beendigung von Doppelinvestitionen.

In einem Unternehmen kommt so etwas häufig vor. Das Marketingteam beauftragt ein externes Unternehmen mit der Sammlung von Wettbewerbspreisen, das Vertriebsteam lässt Praktikanten die gleiche Website mit Python durchsuchen, und das Produktteam abonniert ein Marktforschungs-SaaS. Die drei Abteilungen beschaffen im Grunde genommen dieselben Daten dreifach, ohne voneinander zu wissen.

113
Ein Unternehmen, das in jedem Bereich separat crawlt - Unternehmensweite Datenerfassungs-Governance zur Beendigung von Doppelinvestitionen.
Inhaltsverzeichnis

Unternehmen, das dreimal Daten von Wettbewerbern kauft

In einem Unternehmen ist dies üblich. Das Marketingteam beauftragt ein externes Unternehmen mit der Sammlung von Wettbewerberpreisen, das Vertriebsteam kratzt die gleiche Website mit einem Python-Praktikanten ab, und das Produktteam abonniert ein Marktforschungs-SaaS. Drei Abteilungen beschaffen im Grunde genommen dieselben Daten, ohne voneinander zu wissen.

Aus Sicht jeder Abteilung ist dies eine vernünftige Entscheidung. Sie haben die benötigten Daten gefunden und jeweils ihre eigenen Methoden entwickelt. Aber aus Sicht des gesamten Unternehmens entstehen doppelte Kosten, die Qualität variiert und vor allem laufen unerkannte Crawler still. Dieser Artikel untersucht dieses Problem aus organisatorischer Sicht und behandelt die Gestaltung einer Governance, die die Beschaffung an einer Stelle zusammenführt.


Drei Kosten durch verteilte Beschaffung

1. Kosten für doppelte Beschaffung

Wenn mehrere Abteilungen dieselben Daten separat kaufen, wird die Verhandlungsmacht verteilt und die Gesamtausgaben steigen übermäßig. Jeder Vertrag mag geringfügig sein, aber in der Summe sind sie oft von erheblichem Umfang.

2. Risiko von Schatten-Crawlern

Von Einzelpersonen erstellte Skripte, Tools, die ohne Überprüfung eingeführt wurden - unbekannte Beschaffung läuft im Unternehmen ab. Es könnte ohne rechtliche Prüfung sein, und wenn die verantwortliche Person das Unternehmen verlässt, wird es zu einer Blackbox, die niemand anfasst. "Das Unternehmen wusste nicht, dass diese Beschaffung stattfindet" ist die gefährlichste Situation, wenn Probleme auftreten.

3. Nicht vertrauenswürdige Daten

Wenn die Beschaffungsmethoden, -standards und -zyklen in den Abteilungen unterschiedlich sind, können die Zahlen für denselben 'Wettbewerbspreis' abweichen. Wenn die Daten der Abteilungen in einem Management-Meeting nicht übereinstimmen, wird die Diskussion, die auf Daten basieren sollte, zu einem Streit darüber, "welche Zahlen korrekt sind".


Ursache: Beschaffung als 'Abteilungsaufgabe' festgelegt

Das Problem liegt darin, dass die Datenbeschaffung als Aufgabe angesehen wird, die jede Abteilung selbst lösen soll. Interne Systemdaten werden von der Datenorganisation standardmäßig verwaltet, während externe Webdaten außerhalb dieser Governance vernachlässigt werden. Da die Nachfrage auf verschiedene Abteilungen verteilt ist und es keine zentrale Stelle gibt, die das Angebot standardisiert, entsteht ein Flickenteppich.

Die Lösungsrichtung ist klar. Die Nachfrage sammeln und das Angebot standardisieren.


4 Schritte zur Gestaltung einer unternehmensweiten Beschaffungsgovernance

1. Diagnose - Wer sammelt derzeit welche Daten?

Zunächst wird die verteilte Beschaffung erfasst. Es wird eine Liste erstellt, welche Abteilung welche Daten auf welche Weise (Outsourcing, intern, SaaS) und zu welchem Preis beschafft. In den meisten Fällen treten in diesem Stadium erstmals Doppelungen und Schatten-Crawler auf.

2. Integration - Nachfrage an einem Ort zusammenführen

Die Anforderungen der Abteilungen werden gesammelt und zwischen gemeinsamen und individuellen Anforderungen unterschieden. Überlappende Daten werden einmal gesammelt und von mehreren Abteilungen genutzt, während abteilungsspezifische Daten auf demselben Standard hinzugefügt werden.

3. Standardisierung - Einheitliche Bereitstellungsmethode

Die Beschaffungsmethode, Qualitätsstandards, Lieferformate und Aktualisierungszyklen werden standardisiert. Wenn Daten nach einem Standard eingehen, stimmen die Zahlen zwischen den Abteilungen überein, und im Katalog werden Herkunft und Zyklus für die Prüfung festgehalten.

4. Delegation - Ein Ort übernimmt die Verantwortung für den Betrieb

Standardisierte Beschaffung wird von der internen Datenorganisation betrieben oder extern ausgelagert und zentral verwaltet. Der Schlüssel liegt darin, die Beschaffung zu "verstehen und zu verwalten", die von der Firma durchgeführt wird. Schatten-Crawler verschwinden, und im Falle von Problemen wird die Verantwortlichkeit klarer.


Nutzen der Integration: Kosten und Risiken gleichzeitig bewältigen

Durch die Zusammenführung der Beschaffung an einem Ort werden drei Dinge gleichzeitig bereinigt. Doppelte Beschaffung verschwindet und die Kosten sinken, nicht erkannte Beschaffung wird verwaltet, was das Rechts- und Compliance-Risiko verringert, und Daten, die nach einem Standard eingehen, stimmen zwischen den Abteilungen überein.

Wenn Sie die Auslagerung nutzen, beschleunigt dies die Integration. Es dauert zwar eine Weile, um verschiedene interne Methoden in einer zu vereinen, aber wenn mehrere Abteilungsanforderungen auf einem standardisierten Lieferpipeline liegen, wird der Prozess natürlicherweise vereinheitlicht. Hashscraper sammelt, bereinigt und liefert mehrere Ziele und Elemente in einem Abonnement und kann sie in verschiedenen Formaten (Excel, API, DB, Dashboard) für verschiedene Abteilungen bereitstellen, was seiner Rolle als unternehmensweiter Beschaffungsdienst entspricht. Wie Regulierungsbehörden eine Pipeline für die Überwachung von Online-Daten in großem Umfang und für mehrere Abteilungen betreiben, können auch große und mehrere Abteilungen Anforderungen an einem Ort gebündelt werden.


Häufig gestellte Fragen

F. Wenn die Anforderungen der Abteilungen unterschiedlich sind, werden sie dennoch von einem Ort aus abgedeckt?
Auch wenn sich die Ziel-Websites und Elemente unterscheiden, ist die Lieferstruktur von Sammlung, Bereinigung und Übermittlung auf einer gemeinsamen Pipeline gleich, sodass Abteilungsanforderungen auf einer Pipeline getrennt werden können. Die Lieferformate können auch unterschiedlich sein (Excel für eine Abteilung, API für eine andere) und von den Abteilungen abgerufen werden.

F. Wenn jede Abteilung bereits Verträge abgeschlossen hat, müssen sie alle auf einmal geändert werden?
Nein. Normalerweise werden Doppelungen zuerst durch Diagnose beseitigt, und die Integration erfolgt schrittweise entsprechend dem Zeitpunkt der Vertragsverlängerung. Allein das Sammeln von Überlappungen reduziert bereits Kosten und Risiken.

F. Wird man durch die Integration nicht von einem bestimmten Anbieter abhängig?
Wenn Sie den Datenbesitz und das standardisierte Lieferformat (Excel, API usw.) im Vertrag sichern, wird das Abhängigkeitsrisiko verringert. Das Ziel der Governance ist es, nicht von einem bestimmten Anbieter, sondern von einem 'vom Unternehmen verwalteten Standard' zu sprechen.


Empfohlene Artikel

  • Externe Daten kaufen, erstellen oder auslagern - Entscheidungsrahmen für Kauf, Aufbau und Auslagerung
  • Crawling-Abonnement vs. individuelle Abrechnung - Wenn Sie die Gesamtkosten (TCO) für ein Jahr nicht vergleichen, erleiden Sie Verluste
  • Wie Crawling-Daten zu Entscheidungen werden
  • Warum gibt es in großen Unternehmen Daten-Teams, die das Crawling aufgeben?

Jetzt sofort beginnen

Der erste Schritt besteht darin, die verteilte Beschaffung in den Abteilungen zu erfassen. Wenn Sie uns mitteilen, welche Daten Sie derzeit wie beschaffen, werden wir Ihnen bei der Diagnose der Einsparungspotenziale und der Standardisierungsmöglichkeiten während der Integration helfen.

Kontakt für Datenanalyse

Kommentare

Kommentar hinzufügen

Deine E-Mail-Adresse wird nicht veröffentlicht und nur für Antwortbenachrichtigungen verwendet.

Weiterlesen

Get notified of new posts

We'll email you when 해시스크래퍼 기술 블로그 publishes new content.

Your email will only be used for new post notifications.