采集规则编写_外包前应整理哪些需求
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e8e8d22db5eb.html
📄
采集规则编写_外包前应整理哪些需求
把采集规则编写外包出去之前，最该整理的不是“我要抓什么网站”，而是一份能让对方独立判断对错的需求说明。核心包括：目标页面与字段清单、翻页与详情页的进入方式、字段的取值规则与清洗要求、数据输出格式与去重口径、运行频率与异常处理方式，以及验收标准。整理得越具体，报价和交付质量的差异就越小；整理得含糊，后期返工基本不可避免。
先查目标站点结构，再决定需求怎么写
要查的是：目标列表页、详情页的 URL 形态，以及数据是服务端渲染还是由接口返回。怎么查：用浏览器打开页面，查看源代码中是否直接存在目标字段；再打开开发者工具的 Network 面板，刷新页面，观察是否有返回结构化数据的请求。结果说明什么：如果源码里就有字段，规则编写以页面解析为主；如果字段由接口返回，需求里应写明接口地址的获取方式与请求参数来源，而不是只给一个页面地址。这一步决定了外包方是按页面写规则还是按接口写规则，工作量差别很大。
字段清单要写到“取值边界”这一层
只写“标题、价格、发布时间”是不够的。每个字段至少补充三项：
- 取值位置：在哪个 HTML 元素或哪个返回字段中，最好附一条示例数据。
- 清洗要求：是否去掉空格、换行、HTML 标签、单位符号；日期统一成什么格式。
- 缺失处理：字段为空时是留空、跳过该条，还是标记为异常。
例如“价格”字段，假设某页面同时出现原价和促销价，需求里就要明确取哪一个，或者两个都取并分别命名。否则外包方只能自行猜测，交付后大概率不符合预期。
翻页、详情页与增量采集的规则要单独说明
要查的是：列表页如何进入下一页，详情页链接如何从列表页获得，以及数据更新后如何避免重复采集。怎么查：手动翻到第二、第三页，观察 URL 变化规律；检查是否存在“下一页”按钮消失、页码上限或登录后才可见的情况。结果说明什么：如果翻页依赖动态加载，需求中要写明触发方式；如果详情链接是相对路径，要说明拼接规则。增量采集则要明确以什么字段判断新旧，例如以发布时间或站内 ID 为准，并说明重复数据是覆盖还是丢弃。
输出格式、运行方式与验收标准写进同一份文档
输出格式要明确：CSV、JSON、Excel 还是写入数据库；字段顺序、编码方式、文件命名规则也一并写清。运行方式要明确：一次性采集还是按固定周期运行，运行在对方服务器还是本地环境，是否需要代理或验证码处理。验收标准要可执行，例如：
- 抽取 20 条样本，逐条与页面原文比对，字段值与清洗结果一致。
- 连续翻页 5 页，条数与页面显示数量一致，无重复、无漏采。
- 字段缺失时按约定方式处理，不出现整条数据错位。
验收时以样本比对结果为准，而不是只看“能跑起来”。如果对方只提供程序不提供样本核对，验收就缺少依据。
时间紧时，优先整理这三项
如果人手有限，先完成目标页面与字段清单、字段清洗与缺失规则、验收样本这三项。它们直接决定规则能否写对、交付能否核对。翻页和增量逻辑可以随后补充，但必须在开工前确认，避免中途变更导致返工。整理完成后，把需求文档连同 3 到 5 条示例数据一起发给外包方，并要求对方在报价前复述一遍字段取值规则，以此判断双方理解是否一致。
