跑代码后loss一直是零值

[zhangapeng]

在跑代码的过程中loss刚开始为300多，然后一下跌到零值并且一直是零，请问是什么问题，数据集是按照百度网盘下载并放置。

[LHRLAB]

建议用Llama模型进行微调，如果还出现问题，可以用 https://github.com/hiyouga/LLaMA-Factory 这个最新LLM微调框架进行微调。

[quqxui]

我也出现了这种情况，请问你找到问题的解决方法了吗？

[zhangapeng]

没有，作者说他用的lamafactory，所以我下载了那个仓库训练，

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 日期 | 2024年07月16日 17:32 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [LHRLAB/ChatKBQA] 跑代码后loss一直是零值 (Issue #14) | 我也出现了这种情况，请问你找到问题的解决方法了吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[quqxui]

感谢回复，我解决了，把peft版本下调成0.6.0 能够正常训练，至于最终训练效果还有待观察。