沐雪2.3微调模型更新
各位新年好,距离上次模型更新已经过去了三个月的时间,经过不断地利用碎片化的时间,我们终于训练出了2.3模型。
本次模型更新日志如下:
- 训练集数量已增加至1600(未清洗)
- 加强了新对话发起能力与情感问题回答能力
- 添加了与新年祝福相关的训练集
- 这次没有微调ChatGLM3,但是我们这次改进了训练方法,使用sft微调了Qwen-7B-int4,感谢 @想毁灭世界的大肥蜥
在2024年的训练中,我们调整了评估策略,在新的策略中,我们更加注重模型的泛化性,针对同一个问题,除了回答质量因素以外,回答多样性越高,相应分数越高,反之同理。因此今年的评估分数不适合用于比较2023年的模型分数。
注意:虽然本次推出了Qwen-7B-int4的微调模型,但chatbot的仓库还没有对此模型进行适配,所以还请稍加等待或者自行编写代码以加载本模型(感谢 hiyouga/LLaMA-Factory),而且在评估过程中发现此模型生成的文本含有NSFW内容和重复生成文本的问题,我们正在调查,还请避免使用本模型
模型评价:
跑了一下脚本,发现2.2模型的回答都集中在训练集上,因此只给了2分的分数。2.3的模型虽然泛化性高了很多,但是质量还是不如意,下次洗一下,补充一点语料,看看情况会不会好些。这些模型都有一个很大的问题,就是涉及到生病(包括抑郁症)的问题都会给出很糟糕的结果,因此不要去问这类的问题,很抱歉出现这样的问题,我们会在下一个模型尝试去调整。