What's Changed
- Many updates by @ShinoharaHare in #15
- 更改 package name 為
llm-training
- 合併資料預處理操作,以加速及節省空間
- 新增 ORPO 支援
- 移除 FSDP1,新增 FSDP2 及 TP 邏輯
- 新增 LLaMA、Phi-3 的 TP 支援
- CLM、NEFTune、ORPO、DPO 支援 TP
- 修正
HFCausalLM
共享權重變成不共享的問題
Full Changelog: v0.1.0...v0.2.0