"推荐一个网页数据自动化工具。"
搜索后会有很多列表。问题是，所有列表都在同一个点结束。
安装工具，制定规则，设置计划后，自动化就完成了。
然后三个月后网站进行了更新。采集停止了，知道这一点是在制作周一报告时。
通过统计工具名称的列表无法得出答案。本文将工具分为5种类型和4个自动化级别两个维度进行总结。
就像自动驾驶有级别一样，数据采集自动化也有级别。大多数出现在推荐列表中的工具都是级别2 — 无法放手的自动化。
3行总结 (TL;DR)
- 网页数据自动化工具分为浏览器扩展程序 / 无代码SaaS / 开源框架(开发者用) / RPA·工作流工具 / 管理型采集服务这5种类型。不同类型的工具无法通过一行排名来确定优劣。
- 自动化有不同级别。级别1采集 → 级别2周期 → 级别3交付 → 级别4应对。 推荐列表中的大多数工具在级别2停止，而应对网站更新和阻止的级别4则留给相关人员处理。
- 如果能够直接操作到级别2，无代码SaaS和开源工具是高效的选择。如果需要一直持续到级别4，则管理型采集服务(如HashScraper等)是最佳选择。
目录
- 什么是网页数据自动化
- 为什么自动化工具推荐列表总是不同
- 网页数据自动化工具的5种类型
- 各类型代表性工具比较表
- 自动化级别4：从采集到应对
- 我们公司目前处于哪个级别？自我评估5问
- 提升一个级别的4步
- 常见问题
- 结论
什么是网页数据自动化
网页数据自动化是指程序代替人工复制粘贴，将网页信息转换为表格形式的数据的过程。
到这里，所有工具都遵守相同的约定。因此，仅凭此看，选择哪种工具似乎都差不多。
首先，有一个重要的区分概念。
RPA·工作流自动化是指自动化连接和转移采集数据到其他业务工具的过程。 Zapier和Bardeen属于这一类。
这个区分很重要的原因很简单。
将“自动化采集工具”和“采集后自动化工具”放在一起比较，结论是无法得出的。
推荐列表中的十个工具提供不同答案的原因大多数是因为这些类型混合在一起。
自动化从采集开始，到应对结束。
为什么自动化工具推荐列表总是不同
阅读十个推荐列表后，可能还剩下三十个工具。决策仍然没有变。
这不是因为列表不同，而是因为单位不同。
工具名称不能成为比较的单位。
将Zapier和Scrapy并列放在一起，问“哪个是更好的采集自动化工具”是无法得出结论的。一个是连接应用程序的工作流工具，一个是开发人员编写爬虫的材料。
要进行比较，需要两个轴。
- 类型 — 这个工具是为谁设计的，做什么
- 级别 — 自动化能够进行到什么程度，从哪里需要人工介入
建立这两个轴后，三十个工具将整齐地排列在一个网格内。而且大多数情况下，它们都在一两个单元格内。
不要数工具。数类型和级别。
网页数据自动化工具的5种类型
经常出现在推荐列表中的名称 — Octoparse、ParseHub、Browse AI、Selenium、Playwright — 最终都属于这五种类型。
类型1. 浏览器扩展程序
安装在Chrome上，用于提取当前页面的数据。例如Listly、Web Scraper。
从安装到第一个结果最快。但自动化范围仅限于“打开页面的采集”。
类型2. 无代码SaaS
通过点击创建采集规则，并在云端按计划运行。Octoparse、ParseHub、Browse AI属于这一类型。
自动化到周期运行，但当规则破损时，修复的人仍然是用户。
类型3. 开源框架(开发者用)
Scrapy、Selenium、BeautifulSoup，最近还有Playwright。可以做任何事情，而且是免费的。
但这些只是“工具”名称，实际上是开发人员编写代码的材料。不是没有代码就可以使用的选择。
类型4. RPA·工作流工具
Zapier、Bardeen等，用于连接应用程序并自动化重复工作。
适用于简单的提取和表格存储、通知连接，但不适用于大量和精确的采集。
类型5. 管理型采集服务
管理型采集服务是指，提供要求后，公司负责开发爬虫、应对阻止、维护、监控，并且企业只需接收数据的订阅服务。
HashScraper就属于这种类型，基于对5000多个网站的采集经验，保持99.7%的数据准确性。
理解为不是自己制作自动化，而是订阅现成的自动化方式是正确的。
各类型代表性工具比较表
| 类型 | 代表工具 | 需要编码 | 可达到的自动化级别 | 维护主体(修复人员) | 适用规模 |
|---|---|---|---|---|---|
| 浏览器扩展程序 | Listly、Web Scraper | 不需要 | 级别1 (采集) | 用户 | 一次性·少量 |
| 无代码SaaS | Octoparse、ParseHub、Browse AI | 不需要 | 级别1~2 (采集·周期) | 用户 | 少量~中量重复 |
| 开源框架(开发者用) | Scrapy、Selenium、BeautifulSoup、Playwright | 必须(开发者用) | 设计因人而异 (级别1~4) | 开发团队 | 与团队实力成正比 |
| RPA·工作流工具 | Zapier、Bardeen | 不需要 | 级别2~3 (周期·交付连接) | 用户 | 少量·业务连接 |
| 管理型采集服务 | HashScraper | 不需要 | 级别1~4 全部 | 公司(包含在订阅中) | 持续·大量·业务用 |
由于详细费用和功能经常变动，建议根据每个服务的官方网站标准进行最终确认。
表中需要关注的列是两个：可达到的自动化级别和维护主体。其他列都是这两个结果。
自动化级别4：从采集到应对
自动驾驶有级别。
级别2是保持车道并与前车保持距离。但司机仍然无法放开方向盘。
数据采集也是如此。大多数出现在推荐列表中的工具都是级别2 — 在自动运行时需要人员监视的自动化。
| 级别 | 自动化了什么 | 人员仍然需要做的事 | 能够处理该级别的类型 |
|---|---|---|---|
| 级别 1. 采集 | 屏幕信息提取为表格数据 | 点击执行按钮，整理文件 | 五种类型全部 |
| 级别 2. 周期 | 在规定时间自动重复运行 | 检查结果，转移文件，监视故障 | 无代码SaaS、开源框架、RPA、管理型 |
| 级别 3. 交付 | 结果自动到达Excel、邮件、API、数据库 | 检查异常 | RPA(连接)、开源框架(实现时)、管理型 |
| 级别 4. 应对 | 检测并恢复网站更新、阻止、采集遗漏 | 无 (由公司或开发团队承担) | 开源框架(有开发团队持有时)、管理型 |
这里有一点需要强调。
自动化级别更接近乘法而不是加法。即使前三个级别完美，如果第四个级别需要人员，那么人员最终仍然需要等待。如果每天早上检查数据是否到达，那不是自动化，而是增加了一个监视任务。
确认自己的级别的方法很简单。
看看上个月的采集数据中是否有空白天，如果有，看看谁何时意识到的。
支持500个以上企业的采集，崩溃的模式是一致的。工具选择得当，但三个月后网站更新，没有修复人员导致采集悄然停止的情况。
工具自动化采集，服务自动化运营。
管理型服务是为了处理级别4而不是人员的结构。如果采集停止，服务提供商比相关人员更早发现并进行修复是这种类型存在的原因。
基于HashScraper客户的案例，与独立外包方式相比，年度总成本节省了68%。
我们公司目前处于哪个级别？自我评估5问
请检查。比阅读十个推荐列表快得多。
- [ ] 不需要点击执行按钮，采集会自动运行吗？ → 否则是级别 1
- [ ] 采集结果自动到达Excel、邮件、API吗？ → 否则是级别 2
- [ ] 系统比人员更早发现采集停止吗？ → 否则是级别 3
- [ ] 上个月的数据中有空白天吗？如果有，多久后发现的？
- [ ] 网站更新导致采集中断时，谁会修复？
前三个问题将告诉您当前的级别。
后两个问题将指导方向。如果发现空白天的时间较晚，且没有修复人员，那么级别4不是通过更换工具而是更换类型来提升的。
提升一个级别的4步
