更充分实验，与Adam的实验效果进行比较

[yangjianxin1]

论文中比较了zero shot、lora和lomo的实验效果，但是缺少adam或者adamw的实验效果。
请问lomo和adam之间的差距有多大，是否有进行实验，期待你的回复，感谢~

[QipengGuo]

感谢您的问题，很有道理。但鉴于我们计算资源不是很充裕，adam相关的对比实验做得比较少（需要很大的显存来完成对比实验）。我们有在7B上做过一些小规模的测试，但不是很充分。基本是comparable的，具体在不同任务和不同数据上都会有差别。

[yangjianxin1]

感谢你的回复，请问lomo和adam的对比实验，后续是否会进行补充。
如果受限于硬件资源，可以考虑在1b或者3b的模型上做快速实验，实验结论应该也是有说服力的。

[yangjianxin1]

很棒的工作，因为想尝试一下lomo，但由于目前你们的论文只与lora进行了对比，所以想要了解solid的实验结果。

[QipengGuo]

和Adam的比较在我们的后续计划上，不过具体时间不好承诺。

[yangjianxin1]

感谢回复，期待你们的更新~

[KaiLv69]

感谢回复，期待你们的更新~

你好，可以参考这篇新论文 https://arxiv.org/pdf/2310.10195.pdf :)