月定额看起来很贵的错觉
当您第一次收到爬虫订阅报价时，大多数人的反应都是一样的。“比支付一次开发费用还要贵？” 是的。仅看第一个月，单独付费几乎总是更便宜的。
问题在于爬虫成本不仅仅局限于第一个月。在整个数据接收过程中，会有维护成本，并且每次添加网站时都会再次产生开发费用。因此，在比较计费方式时，应该将焦点放在1年总拥有成本(TCO, Total Cost of Ownership)上，而不是第一份报价单的金额上。幸运的是，大多数公司都会按年度编制预算，因此比较基准和预算周期是一致的。
本文是一个可以直接进行比较的计算框架。
两种方式的成本项目分解
首先，将一年内实际发生的成本项目并排放在一起看看。
| 成本项目 | 单独付费 | 订阅 |
|---|---|---|
| 初始开发费用 | 每个网站一次性开发费用 | 包含在月定额中 |
| 添加网站 | 每次添加都会再次产生开发费用 | 包含在月定额中 |
| 项目添加·更改 | 单独开发费用 | 包含在月定额中 |
| 维护(应对网站更改) | 每个公司的计费方式不同 | 包含在月定额中 |
| 运营费用(服务器·代理等) | 每月计费 | 根据采集规模额外计算运营费用 |
| 中途缩减·终止 | 每个合同都不同(通常有限制) | 可以调整·中途终止 |
重点在左侧列。单独付费中，通常只有第一份报价单中列出的项目是首要考虑的(初始开发费用和运营费用)，其他项目将在一年内逐步通过账单显示出来。 第一个月看起来便宜的原因就在这里。
1年 TCO 计算框架
用公式表示比较就变得简单了。
单独付费的1年总成本
1년 TCO = 초기 개발비
+ (사이트·항목 추가 횟수 × 건당 개발비)
+ (사이트 변경 대응 횟수 × 건당 유지보수비)
+ (월 운영비 × 12)
订阅的1年总成本
1년 TCO = (월정액 × 12) + 규모에 따른 운영비
在单独付费方面的公式中，需要注意的变量有两个。添加次数和更改应对次数 — 这两个变量在签订合同时看起来是0，并且在报价单中也没有。但是随着数据的使用，您可能会想要扩大收集范围，并且收集目标网站可能会突然更改结构。这两个变量的增加会使单独付费的1年 TCO与初始报价单相去甚远。
另一方面，订阅公式中实际上只有一个变量(运营费用规模)。其他都是常数，因此，您在年初设定的预算将持续到年底。这就是订阅具有的预算可预测性价值。
转折点：从哪里开始订阅更划算
将两个公式重叠在一起，可以总结出三个区分优劣的条件。
- 网站数量 — 收集目标越多，单独付费的初始开发费用和维护费用也会随之增加。
- 更改频率 — 经常在中途添加网站或项目，或者收集频繁进行更改或升级的对象(大型电商·社交媒体等)，单独付费的变动项目就会增加。
- 持续时间 — 使用时间越长，订阅中包含的维护价值就会累积。如果是一次性的话，这个价值就是0。
因此，公平地说，情况是这样的。
单独付费更有优势的情况: 收集目标只有一两个，项目已经确定，数据只需获取一次或短期使用。在这种情况下，您可能根本不会使用订阅中包含的项目，因此单独付费更划算。
订阅更有优势的情况: 收集目标有多个或计划增加，需要持续获取数据。实际上，一些哈希爬虫的客户说，与单独付费方式相比，总成本降低了约40~50%。
报价单之外的成本也是TCO
除了数字化的项目外，一年运营下来，还会有两种成本是可以感知到的。
- 谈判·采购成本: 在单独付费中，每次添加网站都需要请求报价 → 内部审批 → 采购的循环。数据需求时与实际开始收集数据之间的间隔也是一种成本。
- 数据空白风险: 如果维护是按照项目协商进行的，那么在网站更改和修复协商期间，数据会中断。过去时段的数据往往很难进行回溯收集，因此空白是无法用金钱弥补的成本。
这两点在任何报价单中都不会出现，但在1年TCO比较中，这些都是不容忽视的项目。
自我诊断：我们应该选择哪种方式
请看下面的问题，看看有多少个适用于您。
- 想要收集的网站有3个或更多 (或者有增加的计划)
- 需要持续接收数据超过6个月
- 收集项目尚未确定，可能会在使用过程中进行调整
- 包含有强烈阻止或频繁更改的网站(大型电商·社交媒体等)
- 按年度预算运作，中途增加费用申请是负担
如果有3个或更多，那么订阅TCO更有可能更划算。0~1个的话，那么开始使用单独付费(或一次性收集)可能更为合理。如果不确定，请同时获取两种方式的报价，并将其放入上述公式中进行比较 — 即使保守地估计添加次数和更改应对次数，方向也会清晰。
常见问题
Q. 订阅费用中具体包括什么？
包括爬虫开发·维护·额外开发。添加网站或更改项目时，不会额外收取开发费用。仅根据采集规模比例计算服务器·代理等运营费用。
Q. 是一年合同吗？中途停止怎么办？
如果需求减少，可以调整规模或提前终止。在比较TCO时，终止条件是一个比想象中更重要的变量，无论采用哪种方式，都务必在签约前确认。
Q. 我目前正在使用单独付费方式运营，可以转换吗？
是的。告诉我们您正在运营的收集目标和项目，我们将为您并排比较当前的支出结构和订阅的1年TCO。
推荐阅读
- 爬虫报价，为什么每家公司都不一样 — 成本结构和隐藏成本
- 选择爬虫公司的方法 — 外包数据收集前需要确认的7个事项
- 大型企业数据团队为什么放弃自己爬虫？
立即开始
告诉我们您的收集目标和项目，我们将为您并排计算单独付费和订阅两种方式的1年总成本。
