“我想收集这个网站的数据，但机器人列表里没有。”
这是想委托爬虫的人最常遇到的难题。自己写代码要花时间，找外包又得先为小需求询价。因此 Hashscraper 以 Beta 版开放了用 AI 创建爬虫机器人功能。只要用文字说明想收集的网站和所需字段，AI 就会创建采集方法，先进行示范采集展示结果，经人工确认后再作为机器人运行。本文将按照实际对话顺序，展示为一个博客创建机器人的全过程。
定义。 无代码爬虫是一种无需编写代码即可收集网页数据的方法。既可以通过在页面上点击选择字段，也可以通过说明想要的内容，让 AI 创建采集方法。
定义。 Hashscraper 的“用 AI 创建机器人（Beta）”是一项通过对话创建采集方法（机器人），经安全检查和管理员确认后，在 Hashscraper 服务器上进行采集的功能。收集到的数据将以数据集形式提供。
[左侧菜单中的用 AI 创建机器人（Beta）页面 — 新建机器人按钮与已创建机器人列表](images/040/00_AI로봇만들기_메뉴.png)
▲ 在菜单中的“用 AI 创建机器人（Beta）”点击“新建机器人”，即可打开与 AI 的对话。
TL;DR
- 用文字写下地址和所需字段，AI 会创建一个能够处理列表 → 文章详情 → 多个页面的机器人。
- 例如，我们选择了 Hashscraper 代表金京浩的个人博客（bamchi.me），仅通过几轮对话就创建了机器人，并在约 1 分 20 秒内收集了 27 篇文章（标题、发布日期、浏览量、正文、地址）。
- 创建和示范采集免费，正式采集每条基础费用为 25 积分。无法创建需要登录的页面、验证码、App 或涉及个人信息的采集机器人。
1. 从一行地址开始
最开始发送的话只有这一句。
收集 Bamchi.me 博客文章
AI 首先直接打开查看了页面，并这样回答：“每页有 9 篇文章，分为多个页面。列表中每篇文章都有标题、发布日期、摘要和文章地址。”
这里重要的是，人并没有说明 HTML 结构。标题在哪个标签里、下一页地址如何变化，都是 AI 读取页面后自行识别出来的。
[与 AI 的对话 — 发送一行地址后，AI 打开页面查看，并询问只收集列表还是连正文也收集](images/040/01_대화주소와방식.png)
▲ 实际对话界面。发送一行地址后，AI 会先打开页面查看，并询问要收集什么、如何收集。
2. 只收集列表？还是连正文也收集？——AI 会先询问
AI 并不会马上创建，而是先询问采集方式。
- 只收集列表 —— 快速获取标题、发布日期、摘要和地址
- 连正文也收集 —— 先从列表收集文章地址，再进入每篇文章获取完整正文
选择第 2 项后，接着出现了下一个问题：“要收集到第几页？3 页大约是 27 篇。也可以让您在每次采集时修改页数。”在提出这样设置后，“要采集的页数”就成了机器人的设置项。这周可以收集 1 页，下个月收集 10 页，无需重新创建机器人即可修改使用。
从列表进入详情页的两阶段爬取，以及翻页，原本是写代码时最费工夫的部分。这个过程只用两次提问就完成了。
3. 通过示范采集提前查看
AI 先从第一页试着收集了 5 篇文章并展示出来。
| 标题 | 发布日期 | 浏览量 |
|---|---|---|
| GPT-5.6 Sol，最强模型的陷阱 | 2026年07月13日 | 2,652 |
| 有钱又有时间的人最先买的东西——不是车，也不是奢侈品 | 2026年02月17日 | 5,028 |
| 用一台 Mac mini 打造属于自己的 AI 助手的故事 | 2026年02月02日 | 4,708 |
其中还包含了没有要求的浏览量。AI 发现文章页面中有浏览量后，主动建议一并加入。示范采集时也会确认下一页是否能够正常打开。
[展示示范采集结果的 AI 消息与保存后请求审核的说明](images/040/02_대화시범수집저장.png)
▲ 对话中会展示示范采集结果，回复“保存”后，采集方法就会被保存。
[最后的示范采集面板 — 在列表中找到 9 个地址，打开 5 个详情页，预览显示 5 行数据](images/040/04_시범수집_미리보기.png)
▲ 屏幕右侧会同时显示示范采集表格，也确认了下一页是否同样显示 9 篇文章。
如果对结果不满意，可以当场用文字修改。例如：“去掉发布日期”、“正文只保留前 200 个字”等。
4. 经人工确认后再运行
保存后点击“请求管理员审核”，不会立即开始采集，而是会经过两个步骤。
- 安全检查（1～3 分钟） —— 检查采集地址是否安全、网站的采集规则（robots.txt）是否禁止、示范结果中是否存在看似个人信息的数据，以及单次请求是否过多。这个机器人以“单次约 30 次请求、每个网站间隔 1 秒”的条件通过了检查。
- 管理员确认（通常 1 个工作日） —— 由人工确认采集方法以及每条数据所需的积分后进行批准。
[正在创建的机器人面板 — 从列表收集地址 → 从详情页提取字段，输入框为要采集的页数，已批准 · 每条 25 积分](images/040/03_만든봇승인.png)
▲ 批准后，机器人的采集方法、输入项及每条积分费用一目了然，并可通过“打开机器人”继续操作。
不直接运行 AI 创建的机器人，而是再由人工确认一次，原因很简单：为了避免发布会给他人网站带来负担，或收集不应收集的数据的机器人。本示例是代表本人自己的博客，因此没有问题，但遵守待采集网站的使用条款及相关法律的责任，仍由创建机器人的会员承担。
5. 用机器人采集——27 条，675 积分
批准后，在机器人页面中输入页数 3 并开始采集。
[机器人页面 — 开始采集按钮与采集结果 27 条、675 积分](images/040/05_봇화면수집결과.png)
▲ 机器人页面。可以在与其他爬虫机器人相同的界面中开始采集并查看结果。
- 采集时间：约 1 分 20 秒
- 结果：27 篇文章（标题、发布日期、浏览量、正文、文章地址）
- 费用：每条 25 积分 × 27 条 = 675 积分
收集到的数据与其他机器人一样会累积为数据集，可下载为 Excel。
[数据集页面 — 收到的数据 27 条，已使用积分 675，标题、发布日期、浏览量、正文、页面地址表格](images/040/06_데이터셋_27건.png)
▲ 收集的 27 篇文章已累积到数据集中，可通过“下载 Excel”进行下载。
用 AI 可以创建与无法创建的内容
| 可以创建 | 无法创建 |
|---|---|
| 公开的列表、论坛、商品页面 | 必须登录后才能查看的页面 |
| 列表 → 详情的两阶段采集、多个页面 | 出现机器人验证（验证码）的页面 |
| “查看更多”按钮、需打开页面后才渲染的页面（通过浏览器打开后采集，耗时更长） | App、个人信息 |
对于封锁严格的购物网站，或存在登录、验证码的网站，建议不要使用 AI 机器人，而是委托 Hashscraper 开发人员直接制作采集器。
常见问题
Q. 创建需要费用吗？
创建和示范采集免费。只有实际收集的数据才会按每条基础 25 积分扣除；如果管理员确认后费用有所变化，会通过通知告知您。
Q. 完全不懂代码也可以吗？
可以。只需用文字写下地址和想要的字段即可。例如可以这样写：“我想在 OO 商城搜索洗发水，收集商品名、价格和评论数。”
Q. 对话内容会被发送到哪里？
为了创建和审核机器人，对话内容会被发送给外部 AI 服务提供商（美国）。因此会提示您不要在对话中填写个人信息或密码。
结论
此前，创建爬虫机器人是一项“读取页面结构、选择选择器、编写翻页逻辑”的开发工作。用 AI 创建机器人将这件事转变为了对话：从一行地址开始，回答两次问题，查看示范结果，再通过经人工确认的机器人进行采集。目前仍处于 Beta 阶段，可能还有不足之处。欢迎试用并告诉我们，我们会尽快改进。
立即开始
- 亲自创建试试：用 AI 创建机器人（Beta）
- 如果网站需要登录或存在封锁：咨询爬虫服务
