深度学习模型调参技巧总结（持续更新中）

模型精度提升的思路

• 数据增强、增广
• 增大模型容量（复杂度）
• 用其他数据做预训练
• 模型串并联
• 模型正则化（帮助充分的训练）
• 使用预训练模型
• 使用无监督/半监督/迁移学习等利用其他数据集
• 多Stage网络
• 加入后处理部分
• 参考： https://www.yangwenlong.org/2021/07/16/%e6%a8%a1%e5%9e%8b%e7%b2%be%e5%ba%a6%e6%8f%90%e5%8d%87%e7%9a%84%e6%80%9d%e8%b7%af%ef%bc%88%e6%8c%81%e7%bb%ad%e6%9b%b4%e6%96%b0%e4%b8%ad%ef%bc%89/

解决梯度消失和梯度爆炸的方法

• 梯度消失（ResNet,BN,减少层数，使用ReLu激活函数）
• 梯度爆炸（BN，正则化，参数初始化，减少层数，激活，梯度截断）

减少过拟合的方法汇总

• 随机池化
• 降低模型复杂度（量化、稀疏、蒸馏、权重共享等）
• 添加Dropout及BN层等
• Early Stopping
• weight decay
• 参考： https://www.yangwenlong.org/2021/07/16/%e5%87%8f%e5%b0%91%e8%bf%87%e6%8b%9f%e5%90%88%e7%9a%84%e6%96%b9%e6%b3%95%e6%b1%87%e6%80%bb/

更多请参考我的个人技术笔记主页： https://www.yangwenlong.org/