文档检测研究:印章压住标题时怎样标注

标题和印章重叠时,如果为了让框不重叠而改变标注,会让模型学到不一致目标。

edyang · 2018-11-15

标题和印章重叠时,如果为了让框不重叠而改变标注,会让模型学到不一致目标。

本文使用合成文档图、YOLO 标注格式与 OpenCV 3.4。文档标题与印章定位先是数据定义问题,再是模型问题。框代表什么、哪些情况不标以及如何处理多页,都会改变训练目标和评估含义。

1. 从现象推到机制

多类别检测允许不同对象框重叠,关键是类别语义和可见边界规则。是否标完整预期范围还是仅可见区域必须一致。NMS(非极大抑制)处理时也要留意类别关系,不能把不同类别的合理重叠都删除。

文档检测研究:印章压住标题时怎样标注的处理、反馈与观察关系

图中的四个节点分别表示重叠页面、类别规则、模型输出、后处理。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。

2. 最小实现与输入条件

用合成标题和自绘示意印记制作重叠程度不同的样本,不使用真实公章。分别查看每类预测和后处理前后的框。

1
2
3
4
title box -> according to title annotation policy
seal box -> according to seal annotation policy
overlap -> allowed across distinct valid objects
postprocess -> inspect class-aware suppression behavior

先建立少量人工可复核的合成样本,保留原图、标注和处理版本。按文档来源或模板拆分集合,禁止同一原件的不同裁剪分别进入训练与测试形成泄漏。

3. 用对照区分原因

下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。

改变的条件 需要验证的行为
印章与标题区域重叠 两个类别都可有有效框
遮挡使边界难判断 应进入已定义的模糊样本规则
后处理删除跨类别框 可能误伤真实重叠对象

对照 1:印章与标题区域重叠

两个类别都可有有效框。观察时记录类别规则与独立对象身份。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 2:遮挡使边界难判断

应进入已定义的模糊样本规则。观察时记录标注说明与复核记录。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 3:后处理删除跨类别框

可能误伤真实重叠对象。观察时记录抑制逻辑是否区分类别。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

4. 适用条件与取舍

框定位不能重建被遮住的文字,也不能验证印章法律效力。对无法阅读或低置信度的区域,应保留人工复核入口。

一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“后处理删除跨类别框”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。

同月延伸

参考资料

  1. YOLOv3 训练资料
  2. OpenCV 3.4.0 文档