定制网页数据采集你定义数据,我们负责采集和维护。
供应商商品目录、招标与采购公告、政府公报、公共登记信息、行业新闻:只要在网上,我们就能把它变成有条理、持续更新的数据,交付到团队日常工作的地方。
问题所在
数据存在,但很分散
几十个网站,格式各不相同。团队里总有人每周花好几个小时复制粘贴。
自建爬虫变成技术债
脚本只在网站改版前有效。之后,维护工作会和你们自己的产品争夺时间。
需要真实浏览器的网站
大量依赖 JavaScript、需要登录或人机验证的页面,无法通过简单请求获取。
原始数据不等于决策
拿到 HTML 或一个巨大的 JSON 并没有帮助。重要的是干净的表格,以及和昨天相比有什么变化。
你将获得
定期或一次性采集
为一项研究做单次采集,或按天、按周、按小时持续运行。
结构化数据
字段与你共同定义,每次采集都会校验,以 CSV、电子表格、JSON 或数据库形式交付。
变化了什么
除了当前快照,我们还交付与上一次采集的差异:新增、移除和变更的条目。
项目专属 API
如果数据要接入系统,你可以通过 API 查询,拥有独立密钥和文档。
不只是今天的快照
有用的数据,是这一次采集与上一次之间的差异。
共 5 个条目。自上次采集以来,哪一个变了?
| 条目 | 价格 |
|---|---|
| M8 六角螺栓 | US$0.42 |
| 8 mm 平垫圈 | US$0.11 |
| 8 mm 尼龙膨胀管 | US$0.18 |
| 4.8 mm 抽芯铆钉 | US$0.27 |
| 200 mm 扎带 | US$0.19 |
示例说明:商品目录和价格均为虚构。
如何运作
先核对数据,再决定合作。先给样本,后出方案。
- 步骤 1
诊断
用 30 分钟了解数据要支撑什么决策、哪些来源重要、需要多高的更新频率。
- 步骤 2
样本
我们采集一份真实样本,让你在做任何决定之前先核对数据。
- 步骤 3
实施
按约定频率上线采集,并监控采集失败的情况。
- 步骤 4
持续交付
通过电子表格、数据看板或 API 交付。网站改版时,调整由我们负责。
常见问题
这和自己开发或找外包有什么不同?+
在于维护。我们使用自有的数据采集和浏览器基础设施,也就是我们作为产品销售的那一套;网站改版时的调整包含在服务中。
我的团队可以直接使用这些技术吗?+
可以。MarkUDown 是我们的数据采集 API,提供免费额度供试用;Abrasio 是我们的托管浏览器,本地模式免费。
需要登录的网站怎么办?+
需要登录的区域会使用你公司自己的账号,并且仅在你授权的情况下访问。可行性会在样本中确认。
这样做合规吗?+
我们只处理可公开访问的信息,或经你授权访问的信息。每个项目都会先明确采集哪些数据、用于什么目的,并遵守适用的数据保护法规(如 GDPR)。
费用是多少?+
取决于数据源数量、数据量和采集频率。通常是实施费加月度订阅,或按数据量计费。诊断通话后你会收到费用估算。
免费 30 分钟诊断通话
告诉我们你需要跟踪什么,通话结束时你就会知道是否可行、需要多长时间以及如何交付。你还会收到一份包含你所在行业数据的免费样本(样本名额有限)。
选择时间如果你愿意,也可以在旁边留言。