训练batch_size对结果的影响

[Family-Liao]

因为设备原因，我训练的批大小是4，将训练出来的模型进行评估得到的结果如下图所示

与你们预训练出来的模型结果相差得有点大，请问这是正常现象吗，下图是用我的设备跑你们的预训练模型的结果

这个结果差距是正常现象吗？

[MasterIzumi]

@Family-Liao 这个肯定是有影响的。batch size 和 lr 需要相互适配，缩小bs应该也调小lr(*)。但由于优化器内部动量等问题，无法通过等比例缩放实现相同的效果，不过你可以调小lr试试。

(*) He, Tong, et al. "Bag of tricks for image classification with convolutional neural networks." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.

A similar issue is mentioned in #9.

[Family-Liao]

@Family-Liao 这个肯定是有影响的。batch size 和 lr 需要相互适配，缩小bs应该也调小lr(*)。但由于优化器内部动量等问题，无法通过等比例缩放实现相同的效果，不过你可以调小lr试试。

(*) He, Tong, et al. "Bag of tricks for image classification with convolutional neural networks." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.

A similar issue is mentioned in #9.

感谢回复

[Family-Liao]

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框：

请问，那如果我需要调整学习率的话，是应该两个数值都修改吗
@MasterIzumi

[MasterIzumi]

@Family-Liao 这里和论文略微有一点不太一样，我们这里使用了polyline形式的lr scheduler，让它先从小lr开始warm up，然后固定若干epoch，最后再减小lr。你可以尝试修改图中中间那个文件77行中的参数，将init_lr和后面的values都改小。

[Family-Liao]

@Family-Liao 这里和论文略微有一点不太一样，我们这里使用了polyline形式的lr scheduler，让它先从小lr开始warm up，然后固定若干epoch，最后再减小lr。你可以尝试修改图中中间那个文件77行中的参数，将init_lr和后面的values都改小。

谢谢你的耐心解答 @MasterIzumi

[RenWeiwei123]

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

你好，请问你找到合适的学习率了吗

[Family-Liao]

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

你好，请问你找到合适的学习率了吗

始终还是调不出来与原码训练后的得到的评估指标，放弃了，时间成本太高了

[Family-Liao]

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

你好，请问你找到合适的学习率了吗

如果您调出来与源码相近的评估指标后，能不能把学习率和对应的批次分享出来

[RenWeiwei123]

好的，我试试，可以加个V交流下吗？renww666

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年6月17日(周一) 晚上7:37 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [HKUST-Aerial-Robotics/SIMPL] 训练batch_size对结果的影响 (Issue #14) 作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi 你好，请问你找到合适的学习率了吗 如果您调出来与源码相近的评估指标后，能不能把学习率和对应的批次分享出来 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>