训练集与测试集文件名不同,也可能是同一页经过旋转或压缩后的副本。这样的分数会过于乐观。
本文使用合成文档图、YOLO 标注格式与 OpenCV 3.4。文档标题与印章定位先是数据定义问题,再是模型问题。框代表什么、哪些情况不标以及如何处理多页,都会改变训练目标和评估含义。
1. 从现象推到机制
拆分单位应该接近实际泛化目标,例如原始文档、模板或来源。数据增强只在训练划分内生成,测试集保持独立。重复图像、连续扫描页与同一模板的微小变化,都需要根据业务目标判断泄漏风险。
图中的四个节点分别表示原件身份、分组划分、训练增强、独立测试。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。
2. 最小实现与输入条件
为每张图登记原件身份、模板和生成关系,再按组划分。先锁定测试清单,不根据测试表现反复挑选“更好看”的样本。
1
2
3
4
5
source_document_id -> split assignment
all crops and augmentations -> same split as source
train -> parameter fitting
validation -> tuning
test -> final independent evaluation
先建立少量人工可复核的合成样本,保留原图、标注和处理版本。按文档来源或模板拆分集合,禁止同一原件的不同裁剪分别进入训练与测试形成泄漏。
3. 用对照区分原因
下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。
| 改变的条件 | 需要验证的行为 |
|---|---|
| 同页旋转图分到两边 | 测试可能在识别见过的版式 |
| 目标是新模板泛化 | 需要按模板留出而不只随机拆图 |
| 反复用测试集调参 | 测试独立性被逐渐消耗 |
对照 1:同页旋转图分到两边
测试可能在识别见过的版式。观察时记录原件身份与生成链路。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 2:目标是新模板泛化
需要按模板留出而不只随机拆图。观察时记录测试模板是否训练见过。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 3:反复用测试集调参
测试独立性被逐渐消耗。观察时记录调参依据与最终评估清单。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
4. 适用条件与取舍
数据少时仍应诚实表达不确定性。不能通过放宽拆分规则制造高分,宁可保留小样本限制与待补数据。
一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“反复用测试集调参”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。