Colossal-AI首个开源了650亿参数LLaMA低成本预训练方案。 相比业界其他主流选择，该方案可提升预训练速度38%，仅需32张A100/A800即可使用，并且不限制商业使用。https://github.com/hpcaitech/ColossalAI
百川大模型(baichuan-7B)微调实战 - GPT 模型微调实战指南（六）
QLoRA: Efficient Finetuning of Quantized LLMs
Mosec is a high-performance and flexible model serving framework for building ML model-enabled backend and microservices. It bridges the gap between any machine learning models you just trained and the efficient online service API.
2023.06.27 《大模型时代的科研》之2: Prompt Engineering (提示词工程)
开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM
Nougat：一种用于科学文档OCR的Transformer 模型
NLP（十七）：从 FlashAttention 到 PagedAttention, 如何进一步优化 Attention 性能
开源原驼（Guanaco）及背后的QLoRA技术，将微调65B模型的显存需求从780GB以上降低到48GB以下，效果直逼GPT-4，技术详解