想问下训练的数据和epoch数

[YuzhouPeng]

你好，我pretrain和sft各训练了8轮，输出还是胡言乱语，我用的baidu+wiki+医疗train作为pretrain数据集没有改数据，sft也没有改数据集。其他参数都没改，用的初始参数，没有用sft_to_pretrain，想问下您那边是怎么训的？

[YuzhouPeng]

answer: AI武器（机械防雷炉杂代技术的发展历程与影响因素：人物概述：李凯伟：我们-现代机器专业工程师 个人客户、技术客服团队：未知

answer: 学校贫困程度促进调查机构成立地点：（https斯顿特塔·Hayzvahhanvoc行动中心 或用布色“Sv”（德基字母）、中等女孩参加或加入儿童俱乐部；根据实际情况选择考虑合适条件。）。）成立于

answer: 小麻粉糖糕片：《小麻素蛋制法示文》（Felies & Kale Jutio inchavon. P左右集品，蛋和麻酱的比例7％）：A.F/al

answer: 主餐车前：《哥林比早餐餐机的主人？”在英语词典书中中没有找到 and inBooker的小说名称“男装车主”：是什么食品 这是一个食品系的大学校歌吗？这句话并没有提到在餐场的男性：由乔治、埃塔特家族第三支——凯利。因此主单说主歌在早餐菜单中可能并没有在餐棒的食品，或者吃什么？那么那么这个主单可以定义或者指示何一种描述或术语名称

answer: y{p(pv!??)>中立自的药物：莫那洛拉）：药物治疗药物反应 (tupuric共享单车,混合骑单向运行)（2级的精神支持辅助]是一个在疫情期间爆发的一种医院疾病的治愈困难通常持续了80分钟甚至1个小时的服务员可能会感到体重体重在最大范围内在症状之一，这种患者可能会比非最大化的药物在症状之前表现出体重最大且与该症状相似。在疫情爆发时可以

---------------
prompt: 胃癌最主要的转移途径是（　　）。
answer: 李成宝酒款提交日期至最终日期：[唐诗宋联合组葡萄酒款提交确认记录]日期：[诗歌第四季诗歌群章中公歌曲序卷至终点的终定（全组交换确认列表）。诗歌、群人和李姓人的联合举办者在商定的演出活动中商家的结束。由于存在严重的问题并受味原味的特征影响。由于无法确信在终定的选择（使用烤的日期为明年的最佳日几时间）。因为无法相信

[DLLXW]

还是尝试将模型尽量往大了做吧。loss啥的看看是否正常，是否能够到2.x。

[YuzhouPeng]

还是尝试将模型尽量往大了做吧。loss啥的看看是否正常，是否能够到2.x。

loss降到1.5了，还是不行，训练数据有什么好的推荐吗？

[DLLXW]

还是尝试将模型尽量往大了做吧。loss啥的看看是否正常，是否能够到2.x。

loss降到1.5了，还是不行，训练数据有什么好的推荐吗？

看看效果不好应该是这个原因
#50