同一竞争对手数据购买三次的公司
在一家公司内部，这种情况很常见。市场营销团队委托外包公司收集竞争对手的价格，销售团队让实习生使用Python爬取同一网站，产品团队订阅市场研究SaaS。三个部门实际上在不知情的情况下，独立地获取了相同的数据三次。
从每个部门的角度来看，这是一个合理的选择。因为他们需要数据，并且各自找到了解决方法。但是从整个公司来看，重复成本增加，质量各不相同，最重要的是没有人管理的爬虫在悄悄运行。本文将从组织角度诊断这个问题，并探讨如何设计将采集整合为一个窗口的治理。
分散采集带来的三种成本
1. 重复采购成本
多个部门分别购买重叠的数据，会导致谈判能力分散，总支出超出必要范围。每份合同金额可能很小，但合并起来往往是相当可观的。
2. 影子爬虫风险
由个人创建的脚本，未经审查引入的工具 — 公司无法意识到正在运行的采集。这些采集可能没有经过法律审查，如果负责人离职，就无人能够处理这个黑匣子。当问题出现时，“公司不知道正在进行这样的采集”是最危险的情况。
3. 不可靠的数据
如果各部门的采集方式、标准、周期不同，那么即使是相同的'竞争对手价格'，数字也会有出入。在经营会议上，如果各部门的数据不匹配，原本打算通过数据讨论的会议就会变成“谁的数字是正确的”争论。
原因：将采集视为'部门任务'
这种情况的根源在于，各部门被视为自行解决数据采集的任务。公司内部系统的数据由数据组织标准化管理，而外部网络数据则被放任在该治理之外。需求分散在多个部门，但没有统一的供应主体，因此各自为政。
解决方案的方向是明确的。集中需求，标准化供应。
全公司采集治理设计的四个阶段
1. 诊断 — 现在谁在采集什么
首先要了解分散的采集情况。制作一个清单，列出每个部门以何种方式（外包、自主、SaaS）以及多少钱采集了哪些数据。在大多数情况下，重复和影子爬虫通常在这个阶段首次显露。
2. 整合 — 将需求集中到一个窗口
收集部门需求，区分共同需求和个别需求。重复的数据只需采集一次，各部门共享使用，而部门特有的数据则在同一标准下添加。
3. 标准化 — 统一供应方式
确定采集方式、质量标准、传递格式、更新周期的标准。当数据按照一个标准输入时，各部门的数字就会匹配，同时在目录中记录来源和周期，以便进行审计。
4. 授权 — 由一个地方负责运营
由内部数据组织直接运营标准化的采集，或者外包给一个窗口进行管理。关键在于将采集变为“公司了解并管理的采集”。影子爬虫消失，问题出现时责任明确。
整合的好处：同时控制成本和风险
将采集集中到一个窗口，可以同时解决三个问题。消除重复采购降低成本，未被察觉的采集成为管理对象降低法律和合规风险，数据按照一个标准输入，各部门的数字匹配。
利用外包可以加速整合。虽然将各部门不同的方式在内部合并需要时间，但将标准化的供应管道应用于多个部门的需求，窗口自然而然地统一。Hashscraper可以将多个目标和项目收集、整理和传递到一个订阅中，可以根据部门的不同格式（Excel、API、数据库、仪表板）进行分发，符合全公司采集窗口的角色。就像监管机构将数十万条在线监控数据委托给一个管道进行运营一样，大规模、多部门的需求也可以集中到一个窗口。
常见问题
Q. 各部门需求各不相同，一个窗口能够满足吗？
尽管目标网站和项目不同，但采集、整理和传递这种供应结构是共同的，因此可以在一个管道上分别满足各部门的要求。传递格式也可以根据部门不同（一边是Excel，一边是API）进行调整。
Q. 已经签订了各部门的合同，需要立即更改吗？
不需要。通常是在诊断阶段去除重复，然后根据合同更新时间逐步整合。仅仅整合重叠部分就可以降低成本和风险。
Q. 整合后会对特定供应商过于依赖吗？
如果在合同中确保数据所有权和标准传递格式（如Excel、API等可转移形式），则降低了依赖风险。治理的目标不是特定供应商，而是建立公司管理的标准。
接下来的步骤
从了解各部门分散的采集开始，这是一个很好的起点。如果告诉我们您目前如何获取哪些数据，我们将一起诊断整合的节省机会和标准化方案。
