视觉几何:等比例缩放补边后的框怎样还原

把补边后的预测框直接除以比例,可能整体偏移。

edyang · 2019-05-05

把补边后的预测框直接除以比例,可能整体偏移。补边偏移必须先从坐标中扣掉。

本文使用OpenCV 3.4 与合成几何标尺图。图像预处理会改变坐标,模型结果要回到业务使用的原图基准。本文保存每一步尺寸和变换,不凭最终框看起来大致正确就认定映射无误。

1. 从现象推到机制

等比例缩放把原图乘统一比例,再在剩余方向补边。反向映射需要减去对应左上偏移,再除比例。实际实现中的整数取整会造成一像素级差异,所以应记录真实缩放尺寸,而不是事后只用理想公式。

视觉几何:等比例缩放补边后的框怎样还原的处理、反馈与观察关系

图中的四个节点分别表示原始几何、缩放补边、模型输出、逆向映射。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。

2. 最小实现与输入条件

使用非正方形标尺图,把已知矩形映射到正方形输入再还原。比较四个角与原始框,裁剪时最后限制到有效图像范围。

1
2
3
4
x_original = (x_network - pad_left) / scale
y_original = (y_network - pad_top) / scale
# scale 与 pad 必须来自实际预处理过程
# 最后按原图宽高裁切有效边界

先用已知位置的矩形和标尺做正反向检查,再使用匿名文档。原图、处理图和结果分别保存,重复压缩与插值会影响细节,不能无记录地覆盖源文件。

3. 用对照区分原因

下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。

改变的条件 需要验证的行为
漏减补边偏移 框会沿补边方向系统性移动
缩放尺寸经过取整 反变换需使用真实参数
框落在补边区域 还原后需检查有效交集

对照 1:漏减补边偏移

框会沿补边方向系统性移动。观察时记录原图与处理图的已知角点。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 2:缩放尺寸经过取整

反变换需使用真实参数。观察时记录实际目标宽高和左右补边。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 3:框落在补边区域

还原后需检查有效交集。观察时记录裁切前后的原图坐标。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

4. 适用条件与取舍

若模型预处理采用拉伸而非等比例补边,横纵比例不同,不能复用同一反向公式。先确认实现再讨论效果。

一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“框落在补边区域”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。

同月延伸

参考资料

  1. OpenCV 3.4.0 几何变换
  2. OpenCV 3.4.0 文档