先给结论:自动导出遗漏分页,通常不是“工具坏了”,而是导出范围、分页信号或数据源本身发生了变化。要判断完整性,最可靠的动作是把导出结果与站点自身的分页关系做一次交叉核对,而不是反复重跑同一次导出。
假设一次导出显示“共 120 条”,但按每页 20 条计算应有 6 页,实际只落出 5 页。总数看起来正常,分页却对不上,这就是最容易被忽略的遗漏形态。
这种矛盾一般有两种解释:
要区分它们,需要看三类证据,而不是只看最终条数。
假设一次导出在上午和下午各跑一次,上午缺第 5 页、下午缺第 3 页,那么更可能是数据源或请求过程不稳定,而不是单纯的分页解析缺陷。这个例子只是说明比较方法,不代表任何具体工具的真实表现。
完整性判断需要一个基准。可用的基准包括:站点地图或栏目列表里可枚举的条目数、接口返回的总数、以及人工翻页能到达的最后一页。三者不一致时,以人工可验证的那一个为准,并记录差异。
接着做一次逐页比对:把导出结果按唯一标识(如 URL、内容 ID)排序,与基准清单做差集。差集里如果全是同一模板、同一时间段的条目,往往指向筛选条件或分页参数问题;如果差集零散分布,则更可能是请求中断或数据变动。
实际动作:先导出一次完整清单,再单独抓取最后一页和倒数第二页,比较两者的条目是否重叠或跳号。跳号说明中间存在未被枚举的区间,下一步应检查该区间的分页参数写法,而不是直接扩大导出范围。
旧内容、旧系统或旧合作关系退出时,导出遗漏分页往往和“要不要保留”纠缠在一起。此时完整性检查的目的不是把一切都搬走,而是确认哪些部分仍有价值。
如果导出工具对分页的识别依赖页面结构,而旧系统的结构本身不规范,那么把“完整性”定义为“可核对、可追溯”,比定义为“条数完全一致”更实际。具体工具支持哪些分页模式、是否提供断点续导,需要以你手上的版本和文档为准,不能凭名称推断。
检查完成后,给出一个明确判断:是分页识别问题、数据变动问题,还是两者叠加。若是分页识别问题,下一步是调整推进条件并重跑缺失区间;若是数据变动问题,下一步是固定一个不再变动的时间窗口再导出。只有判断清楚原因,后续的补抓或迁移动作才不会白做。