框画得像样不代表检测满足业务。漏掉标题和误框正文的代价需要分别衡量。
本文使用合成文档图、YOLO 标注格式与 OpenCV 3.4。文档标题与印章定位先是数据定义问题,再是模型问题。框代表什么、哪些情况不标以及如何处理多页,都会改变训练目标和评估含义。
1. 从现象推到机制
IoU(交并比)衡量两个框的几何重叠,匹配阈值与类别规则共同决定真阳性。一个标注通常只能匹配一个预测,多余重复框应计入误检。置信度阈值改变精确率与召回率,不能只报最好看的单点。
图中的四个节点分别表示预测标注、框匹配、错误分类、阈值选择。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。
2. 最小实现与输入条件
用人工可核对的十几张合成页先验证评估器,再固定独立测试集。按标题、印章分别统计,不混成一个总数掩盖弱项。
1
2
3
4
IoU = intersection_area / union_area
precision = TP / (TP + FP)
recall = TP / (TP + FN)
matching: class-aware, thresholded, one-to-one
先建立少量人工可复核的合成样本,保留原图、标注和处理版本。按文档来源或模板拆分集合,禁止同一原件的不同裁剪分别进入训练与测试形成泄漏。
3. 用对照区分原因
下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。
| 改变的条件 | 需要验证的行为 |
|---|---|
| 同一目标预测两个重叠框 | 多出的预测不能都算正确 |
| 提高置信度阈值 | 误检可减少但漏检可能增加 |
| 印章类别很少 | 总体分数可能掩盖该类不足 |
对照 1:同一目标预测两个重叠框
多出的预测不能都算正确。观察时记录一对一匹配结果。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 2:提高置信度阈值
误检可减少但漏检可能增加。观察时记录同一测试集的完整变化。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 3:印章类别很少
总体分数可能掩盖该类不足。观察时记录每类样本量和独立指标。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
4. 适用条件与取舍
真实文档分布与合成数据不同,合成集只用于方法检查。业务验收还需独立来源、难例和清楚的失败处理。
一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“印章类别很少”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。