Darknet 训练:断点、配置和数据版本一起保存

只备份一个 weights 文件,之后可能无法解释它是用哪份数据与配置训练出来的。

edyang · 2018-10-15

只备份一个 weights 文件,之后可能无法解释它是用哪份数据与配置训练出来的。

本文使用原版 Darknet 固定历史提交、YOLOv2/YOLOv3 与演示图片。目标检测回答对象类别与位置,不自动识别全部文字或判断印章真伪。文中的训练与部署方案属于可复现方法,没有给出未经测试的准确率、速度或客户验收成绩。

1. 从现象推到机制

训练结果由初始化权重、网络配置、数据清单和运行参数共同决定。续训应明确是恢复已有训练还是从预训练初始化开始。损失下降不能单独证明泛化改善,验证集应按固定规则观察。

Darknet 训练:断点、配置和数据版本一起保存的处理、反馈与观察关系

图中的四个节点分别表示实验输入、训练记录、断点权重、独立验证。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。

2. 最小实现与输入条件

每次实验保存只读配置副本和数据清单摘要,日志记录起始权重。命令中的路径均需由读者准备,不自动下载未知文件。

1
2
3
./darknet detector train data/doc.data cfg/doc-yolov3.cfg darknet53.conv.74
# 续训时用本次实验已保存的匹配权重替换初始化权重
# 同时保留配置、数据清单和完整日志

先保存源码提交、构建选项、配置、权重和输入图片,再对照原始输出。图片只用合成文档或已获授权数据,真实文档中的姓名、编号和印章图样不进入公开训练素材。

3. 用对照区分原因

下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。

改变的条件 需要验证的行为
训练中更换了标注规则 新旧阶段不再是相同任务
损失下降但验证变差 可能出现过拟合或口径问题
只有权重缺少配置 可能无法正确恢复网络结构

对照 1:训练中更换了标注规则

新旧阶段不再是相同任务。观察时记录数据与规则版本。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 2:损失下降但验证变差

可能出现过拟合或口径问题。观察时记录固定验证集的独立结果。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 3:只有权重缺少配置

可能无法正确恢复网络结构。观察时记录配置与权重的对应关系。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

4. 适用条件与取舍

随机性和硬件差异会影响复现程度。报告应说明保存了哪些条件,不承诺仅凭一个随机种子跨环境得到逐位相同结果。

一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“只有权重缺少配置”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。

同月延伸

参考资料

  1. Darknet 2018 历史源码
  2. YOLOv3 论文
  3. YOLO9000 论文