屏幕上显示的一切都能看到，但当要转移到Excel时感到困惑
竞争对手的价格、产品评论、公司名单、新闻文章 — 所需信息都显示在网页上，但要真正分析并转移到Excel中就感到困难。如果只有一页或两页，复制粘贴就可以了，但如果有数百页，情况就不同了。
将网站上公开信息转换为表格数据的工作称为网页数据提取（网页抓取，网页爬取）。本文是为了初次考虑进行数据提取的人们而整理的四种开始方法的指南。即使没有编码知识，也可以阅读。
方法 1. 手动复制 — 最快的开始，最快的限制
顾名思义，这是一种将屏幕内容复制粘贴到Excel中的方式。既不需要工具也不需要费用，适用于只有一页或两页且只需一次的任务。
但限制是明显的。一旦数量增加，时间就无法承受，由人类操作容易出错或错误地转移数据。尤其是像“每周重新确认”这样需要重复的任务将变得不可能。
方法 2. 提取工具 — 无需编码，适用于简单网站
使用浏览器扩展程序或无代码数据提取工具的方法。只需点击所需项目即可将其制作成表格，因此即使没有编码知识，也可以收集数百个项目。
但工具的适用范围是有限的。
- 动态页面每次滚动都会显示新内容，经常会在需要登录的页面上遇到困难
- 大型网站会有阻止自动访问的设备，因此工具级别的访问很容易受阻
- 如果网站界面发生更改，则需要重新设置
对于偶尔收集简单结构化网站的用途很有用，而超出此范围的内容则属于下面两种方法的领域。
方法 3. 自行开发 — 自由度最高，维护是关键
这是开发人员使用Python等直接创建爬虫的方法。无论是哪个网站，哪个项目，都可以按照所需的形式加工 — 自由度是最高的。
但需要有能力制作的人，制作后的维护才是真正的工作。每当网站更改时，都需要修改爬虫，对于阻止严格的网站，需要单独运营绕过基础设施（代理等），监视收集是否停止也是工作的一部分。实际上，即使是拥有数据团队的大型企业也因为这种维护负担而放弃直接收集的情况并不少见。
如果组织很难持续留住开发人员作为附加目的，那么最好在开始之前考虑计算这些运营成本。
方法 4. 数据收集服务 — 只需提出要求，接收数据即可
将收集工作委托给专业公司的方法。只需提出“我想在这个网站上以这个频率收到这个项目”的要求，公司将负责从开发爬虫到应对阻止，网站更改时的维护以及监视收集，并仅接收结果数据。
- 无需编码知识 — 只需用日常语言提出要求即可
- 在阻止严格的大型网站、重复收集、大规模收集方面具有优势
- 可以选择接收数据的形式，如Excel、电子邮件、API、数据库连接等
当然，这是需要成本的。因此，如果只是少量一次性收集，前面的方法可能更好，而如果需要持续或大量收集数据，则服务将更具优势。
一目了然的比较
| 类别 | 手动复制 | 提取工具 | 自行开发 | 数据收集服务 |
|---|---|---|---|---|
| 编码知识 | 不需要 | 不需要 | 需要 | 不需要 |
| 可承受数量 | 几十个 | 几百个 | 无限制 | 无限制 |
| 重复（定期）收集 | 实际上不可能 | 有限制 | 可能 | 可能 |
| 阻止严格的网站 | — | 有困难 | 需要建立基础设施 | 可能 |
| 网站更改应对 | — | 需要重新设置 | 自行修复 | 由公司负责 |
| 成本 | 时间 | 工具使用费 | 人工+基础设施 | 服务费用 |
选择何种方法的标准
只需考虑三个因素，通常就能得出答案。
- 数量 — 几十个项目使用手动，几百个项目使用工具，更多项目则选择开发或服务
- 频率 — 一次性任务选择轻量级方法，每周/每日重复任务则需要自动化（开发/服务）为前提
- 目标网站难度 — 类似大型电商平台、社交媒体等阻止严格的地方对工具来说很困难，开发也需要建立基础设施负担，更接近服务领域
总结一下：如果只是轻量级一次性任务，可以尝试手动或工具直接操作，如果是需要持续收集的数据，则根据是否能获得运营人员来判断是选择自行开发还是数据收集服务。
开始之前需要了解的事项：并非所有数据都可以提取
- 无法提取屏幕上不存在的信息。 网页数据提取是将公开屏幕信息转移的工作，而不是提取私密数据的技术。
- 某些领域需要法律审查。 使用公开数据进行内部分析与收集个人信息或直接重新分发内容是不同的。由于目的和使用方式不同，因此根据情况判断，如果模糊不清，则在收集之前进行确认比较安全。
常见问题
Q. 完全不懂编码可以开始数据提取吗？
可以。如果是少量数据，可以尝试使用提取工具直接操作，如果规模较大，则只需将要求提交给数据收集服务即可。只要总结“从哪个网站获取什么信息以及多频繁”即可。
Q. 数据收集服务的费用大约是多少？
根据目标网站的难度和收集量、频率而有所不同。通过获取报价，可以了解到费用结构（开发费用、运营费用、维护费用），如何比较的方法已整理在下面“一起查看的文章”中的报价指南中。
Q. 任何网站都可以收集吗？
公开屏幕信息大多数情况下是可以的，但每个网站的难度都不同。对于阻止严格的网站，需要建立应对基础设施，因此首先应检查是否可以收集。
建议阅读的相关文章
- 为什么大型企业数据团队放弃直接爬取数据？
- 外包爬虫引入流程 — 从咨询到首次数据，逐步整理
- 如何选择爬虫外包公司 — 数据收集外包前的7个检查事项
- 为什么不同公司的爬虫报价不同 — 成本结构和隐藏成本
立即开始
如果不确定选择哪种方法，请告诉我们要收集的网站和项目。我们将免费为您诊断可收集性以及适合的方法。
