爬虫预算提交审批时，最常见的一句话是“通过这个节省了多少成本”。但这句话只涉及了 ROI 证明的一半，而且还是较小的一半。真正的价值在于获得数据后，改变了哪些决策，因此守住或赚到了多少钱。节省额很显眼，但上限明确；决策改善不那么显眼，但没有上限。 本文提供了一个用“决策变化”而非“节省”来证明爬虫数据 ROI 的框架。我们将价值分为三个层级，并提出将其换算为数字的 4 个步骤。 TL;DR ...
价格不是用来看的，而是用来守护的。 这不是比较竞争对手价格的故事。 而是监控我的品牌产品是否在开放市场·社交电商·自营商城中以低于政策价（建议价·MAP）的价格流出。 一个渠道中失守的最低价，会在一天内登上比价页面顶部，并引发其他渠道正常销售商家“为什么那里更便宜”的抗议。流通秩序就是这样从一个卖家的脱离开始崩塌的。 3行摘要 (TL;DR) 流通价脱离·MAP 违规监控不是“看价格”，而是...
智能体很聪明。问题是网络很脏。 凌晨 2 点，你的 AI 智能体为了确认竞争对手价格而连接到网站。但该网站弹出验证码、改变 HTML 结构、封锁机器人。智能体不会慌张。它会转而编造看似合理的内容。用户将这种幻觉当成事实。 当你在运行时将智能体暴露于网络时，你就是在把不确定性直接递送到用户眼前。 问题的核心不在于“抓取多少”，而在于如何为智能体将要消费的数据接口订立契约(contract)。这...
"推荐一个网页数据自动化工具。" 搜索后会有很多列表。问题是，所有列表都在同一个点结束。 安装工具，制定规则，设置计划后，自动化就完成了。 然后三个月后网站进行了更新。采集停止了，知道这一点是在制作周一报告时。 通过统计工具名称的列表无法得出答案。本文将工具分为5种类型和4个自动化级别两个维度进行总结。 就像自动驾驶有级别一样，数据采集自动化也有级别。大多数出现在推荐列表中的工具都是级别2 ...
决定自建 sLLM 的团队，最先做的事通常是“爬取”。抓取数百万页面，炫耀文本容量，然后宣布“语料库已 확보”。而当他们把那批语料送进模型的瞬间，模型开始说些奇怪的话：“订阅”、“您是否允许 Cookie”、“查看更多相关商品”。 模型会按你喂给它的内容学习。喂它广告文案，它就会学习广告文案。 语料库不是采矿，而是冶炼。不是挖得多，而是剔除得好。 微调的成败不在 GPU 上分出高下。真正的分...
"推荐擅长○○的地方。" 客户以前会在搜索框里输入这句话，现在则会问 ChatGPT。 返回的回答里列出了三家。那里没有我们。 如果是搜索，即使排在第 10 名，也总会在某个地方出现。但 AI 回答不同。要么被选中，要么根本不出现。 搜索曾经是排名之争。回答则是名单之争。不在名单里，不是排名低，而是那个位置根本没有你。 AI 是在一个没有你的房间里，替你介绍你的人。我们甚至不知道那份介绍里写...
您可能已经阅读了大约十篇比较文章。 但是您仍然没有做出任何决定。 这并不是因为信息不足。而是因为您相信选择错误将无法挽回。 这种信念是错误的。在网络数据收集中，无法挽回的选择只有一个，那就是工具选择。 工具随时可以更换。但错过的数据不会被追回。 3行摘要 (TL;DR) 对于“我是新手，请推荐一个”的问题，答案不是产品名称，而是情境。对于一次性少量数据，浏览器扩展程序；对于自动重复，无代码S...
当“也想在我们的仪表板上查看竞争对手数据”传到数据团队时 内部数据源是稳定的。Schema 由我们控制，变更会通过发布说明提前通知，即使失败也有重处理流程。然而，当管理层和业务团队提出“也想在同一个仪表板上查看竞争对手价格、评论和市场数据”时，就会出现一个问题：必须将控制权之外的数据源接入管道。 外部网页的 Schema 并不归我们所有。目标网站会在没有预告的情况下更改页面结构，拦截策略也会...
昨天还正常的管道，今天早上却空了 如果是内部数据源，这种事不太容易发生。要改 schema 会先协商，删除列之前会有预告，出了问题也有明确的负责人。但像竞品价格、评论、市场数据这类来自外部网站的数据源则不同。 某一天，目标网站把评论区域改成 React，调整价格标注的位置，或隐藏原本登录后可见的项目。没有任何预告。那一刻，昨天还运行正常的解析开始返回空值，dbt 模型照常让它通过，仪表盘上昨...
We'll email you when 해시스크래퍼 기술 블로그 publishes new content.
Your email will only be used for new post notifications.
