mirror of
https://github.com/hiyouga/LLaMA-Factory.git
synced 2026-09-27 01:45:42 +08:00
1.1 KiB
1.1 KiB
功能指南
功能指南面向使用 v1 完成训练与推理任务的用户。配置结构、默认值和可用选项统一放在参数配置。
训练任务
| 页面 | 内容 |
|---|---|
| 数据准备 | Messages 格式、数据集 YAML 和 converter |
| SFT | 全参、LoRA、Freeze、QLoRA |
| DPO | DPO、ORPO、SimPO 与偏好数据 |
| RM | 奖励模型训练 |
训练效率与扩展
| 页面 | 内容 |
|---|---|
| 批处理 | 四种 batching strategy |
| 分布式训练 | FSDP2、FSDPTurbo、DeepSpeed、Ulysses |
| 优化器 | AdamW 与 Muon 配置 |
| 融合算子加速 | Liger、融合算子和组合配置 |
模型保存与使用
| 页面 | 内容 |
|---|---|
| 模型保存与恢复 | 最终模型、checkpoint、断点续训 |
| 模型导出 | LoRA 合并和 HF 格式导出 |
| 推理 | CLI 对话与 adapter 加载 |