适合需要数据、而不是需要爬虫的团队

定制网页数据采集你定义数据,我们负责采集和维护。

供应商商品目录、招标与采购公告、政府公报、公共登记信息、行业新闻:只要在网上,我们就能把它变成有条理、持续更新的数据,交付到团队日常工作的地方。

示意图,数据均为虚构。

问题所在

数据存在,但很分散

几十个网站,格式各不相同。团队里总有人每周花好几个小时复制粘贴。

自建爬虫变成技术债

脚本只在网站改版前有效。之后,维护工作会和你们自己的产品争夺时间。

需要真实浏览器的网站

大量依赖 JavaScript、需要登录或人机验证的页面,无法通过简单请求获取。

原始数据不等于决策

拿到 HTML 或一个巨大的 JSON 并没有帮助。重要的是干净的表格,以及和昨天相比有什么变化。

你将获得

定期或一次性采集

为一项研究做单次采集,或按天、按周、按小时持续运行。

结构化数据

字段与你共同定义,每次采集都会校验,以 CSV、电子表格、JSON 或数据库形式交付。

变化了什么

除了当前快照,我们还交付与上一次采集的差异:新增、移除和变更的条目。

项目专属 API

如果数据要接入系统,你可以通过 API 查询,拥有独立密钥和文档。

不只是今天的快照

有用的数据,是这一次采集与上一次之间的差异。

共 5 个条目。自上次采集以来,哪一个变了?

条目价格
M8 六角螺栓US$0.42
8 mm 平垫圈US$0.11
8 mm 尼龙膨胀管US$0.18
4.8 mm 抽芯铆钉US$0.27
200 mm 扎带US$0.19

示例说明:商品目录和价格均为虚构。

如何运作

先核对数据,再决定合作。先给样本,后出方案。

  1. 步骤 1

    诊断

    用 30 分钟了解数据要支撑什么决策、哪些来源重要、需要多高的更新频率。

  2. 步骤 2

    样本

    我们采集一份真实样本,让你在做任何决定之前先核对数据。

  3. 步骤 3

    实施

    按约定频率上线采集,并监控采集失败的情况。

  4. 步骤 4

    持续交付

    通过电子表格、数据看板或 API 交付。网站改版时,调整由我们负责。

常见问题

这和自己开发或找外包有什么不同?+

在于维护。我们使用自有的数据采集和浏览器基础设施,也就是我们作为产品销售的那一套;网站改版时的调整包含在服务中。

我的团队可以直接使用这些技术吗?+

可以。MarkUDown 是我们的数据采集 API,提供免费额度供试用;Abrasio 是我们的托管浏览器,本地模式免费。

需要登录的网站怎么办?+

需要登录的区域会使用你公司自己的账号,并且仅在你授权的情况下访问。可行性会在样本中确认。

这样做合规吗?+

我们只处理可公开访问的信息,或经你授权访问的信息。每个项目都会先明确采集哪些数据、用于什么目的,并遵守适用的数据保护法规(如 GDPR)。

费用是多少?+

取决于数据源数量、数据量和采集频率。通常是实施费加月度订阅,或按数据量计费。诊断通话后你会收到费用估算。

免费 30 分钟诊断通话

告诉我们你需要跟踪什么,通话结束时你就会知道是否可行、需要多长时间以及如何交付。你还会收到一份包含你所在行业数据的免费样本(样本名额有限)。

选择时间

如果你愿意,也可以在旁边留言。

想现在就聊? 在日程表上选择时间 →