"首先确定需要数据"之后，遇到困难时
无论是AI还是仪表板还是市场分析，组织内部都会就需要外部数据达成一致。问题在于接下来。"那么我们如何获取这些数据呢？" — 是购买数据产品，还是自己建立数据收集系统，还是委托给专业公司。如果没有判断标准，就很难提出申请，而各部门选择不同的方式会导致整个组织重复投资。
本文总结了外部数据获取的三种方法 — 购买·建立·委托 — 作为决策框架，目的是为了让我们能够自行判断适合我们情况的方法，而不是偏袒特定方法。
三种方法
购买 — 购买已经加工过的数据产品
这种方法是订阅或购买市场研究机构或数据销售商的成品数据集或报告。优点是可以立即使用经过验证的数据。但很难根据我们的需求来定制目标·项目·周期。只能在销售商规定的范围和格式内使用，而且很多时候找不到完全符合我们竞争格局的数据产品。
建立 — 自己建立数据收集系统
这是通过内部开发人员创建和运营爬虫的方式。自由度最高，可以按照自己的需求进行定制。但运营成本比建立成本高。需要将阻止措施基础设施、网站更改的维护、持续监控收集作为常规工作，并且一旦负责人离职，系统就会被搁置。
委托 — 提供要求并获取数据
这种方式是将收集·整理·传递工作委托给专业公司，然后接收结果数据。我们可以确定目标·项目·周期，但不需要承担运营负担。但需要注意好选择供应商和合同结构(责任归属·转移可能性)。
如何选择：五个判断标准
| 判断标准 | 购买更有利 | 建立更有利 | 委托更有利 |
|---|---|---|---|
| 定制程度 | 标准数据足够 | 需要完全定制 | 需要定制但不想承担运营负担 |
| 更新频率 | 偶尔·一次性 | 持续(有内部能力) | 持续(无内部能力) |
| 内部能力 | 无关 | 开发+运营人员持续保障 | 无开发人员/附加工作 |
| 目标难度 | 销售商覆盖 | 低难度网站 | 包括阻止强的网站 |
| 风险管理 | 销售商负责 | 全部自己承担 | 通过合同分担 |
阅读方法很简单。如果偶尔使用标准数据就购买，需要完全定制且可以持续拥有运营人员就建立，需要定制但不想承担运营负担就委托。特别是对于阻止强的网站(大型电商·社交网络)或需要持续更新的数据，建立的运营成本会急剧增加，因此更倾向于委托。
常见陷阱：认为"自己建立便宜"是一种错觉
最常见的错误是将建立成本仅计算为'开发成本'。由于AI的帮助，爬虫代码本身可以便宜制作，但是开发一个新的爬虫仍然需要相当大的工作量，真正的成本在于制作后 — 每月的服务器·代理运营成本，每次网站更改时的修复，每次扩大目标时的重复开发。
因此，在比较这三种方法时，应该将目光放在1年总成本(TCO)上，而不是初始成本。将购买的年度订阅费用、建立的人工成本+基础设施+维护成本、委托的使用费用放在同一个1年标准下进行比较，就能避免陷阱。(TCO计算框架已经单独整理在下面的'值得一读的文章'中。)
三种方法可以混合使用
在现实中，很多情况下不只选择一种方法，而是混合使用。购买标准市场指标，委托针对我们竞争格局的数据，自己在内部轻松运行几个简单网站。关键是根据每种数据的特性(定制程度·更新频率·难度)来选择方法，而不是将整个组织统一为一种方法。
Hashscraper提供了'委托'方式。只要确定目标·项目·周期，就可以通过管道提供收集·整理·传递，并且爬虫的开发·维护·新增开发都包含在月租费中，可以持续获取定制数据而无需承担运营负担。
常见问题
Q. 已经购买市场研究数据，为什么要爬取数据有何不同？
购买产品是销售商在规定的目标·项目·周期内提供验证数据。爬取(建立·委托)可以根据我们想要的目标和项目进行定制，并且可以确定更新周期。它们通常不是替代品，而是互补品。
Q. 委托后是否难以内部化或更换供应商？
供应商锁定确实是需要考虑的问题。在签订合同之前，请确认数据所有权、产出格式的标准性(是否可以转移，如Excel·API等)，以及中途解约条件。如果以标准格式接收数据，转换成本将大大降低。
Q. 委托后数据的法律责任是否仍然留给我们？
数据收集和使用的责任应该在合同中明确分开。使用目的·重复使用方式是由使用方决定和审查的领域，因此在合同中明确这种责任分担会更安全。
值得一读的文章
- 爬取订阅 vs 单独付费 — 不比较1年总成本(TCO)就会亏本
- 为什么大企业数据团队放弃自己爬取数据？
- 公司各部门分别爬取数据 — 结束重复投资的企业数据收集治理
- 网页数据提取，如何开始 — 比较手动复制到收集服务的四种方法
立即开始
如果在购买·建立·委托中选择困难，告诉我们您要获取数据的性质(目标·项目·更新频率)。我们将一起评估三种方法的成本和风险，为您提供帮助。
