Skip to content

v0.2.0

Latest
Compare
Choose a tag to compare
@ShinoharaHare ShinoharaHare released this 07 Jan 23:22

What's Changed

  • Many updates by @ShinoharaHare in #15
  • 更改 package name 為 llm-training
  • 合併資料預處理操作,以加速及節省空間
  • 新增 ORPO 支援
  • 移除 FSDP1,新增 FSDP2 及 TP 邏輯
  • 新增 LLaMA、Phi-3 的 TP 支援
  • CLM、NEFTune、ORPO、DPO 支援 TP
  • 修正 HFCausalLM 共享權重變成不共享的問題

Full Changelog: v0.1.0...v0.2.0