mirror of https://github.com/hiyouga/LLaMA-Factory.git synced 2026-02-26 15:56:00 +08:00

Files

浮梦 1d5e8ebcd0 [v1] init commit for v1 docs (#10145 )

Co-authored-by: frozenleaves <frozen@Mac.local>
Co-authored-by: gemini-code-assist[bot] <176961590+gemini-code-assist[bot]@users.noreply.github.com>
Co-authored-by: jiaqiw09 <jiaqiw960714@gmail.com>
Co-authored-by: jiaqiw09 <60021713+jiaqiw09@users.noreply.github.com>
Co-authored-by: Yaowei Zheng <hiyouga@buaa.edu.cn>

2026-02-09 19:43:55 +08:00

2.4 KiB

Raw Blame History

Getting Started

训练方法

方法	全参数训练	部分参数训练	LoRA	QLoRA
指令监督微调	✅
奖励模型训练
DPO 训练

软件依赖

必需项	至少	推荐
python	3.11	3.12
torch	2.7.1	2.7.1
torch-npu(Ascend NPU)	2.7.1	2.7.1
torchvision	0.22.1	0.22.1
transformers	5.0.0	5.0.0
datasets	3.2.0	4.0.0
peft	0.18.1	0.18.1

可选项	至少	推荐
CUDA(NVIDIA GPU)	11.6	12.2
deepspeed	0.18.4	0.18.4
flash-attn(NVIDIA GPU)	2.5.6	2.7.2

如何使用

安装 LLaMA Factory

Important

此步骤为必需。

从源码安装

git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .

数据准备

关于数据集文件的格式，请参考 data-preparation/README.md 的内容。你可以使用 HuggingFace / ModelScope 上的数据集或加载本地数据集。

Note

使用自定义数据集或自定义数据集格式时，请参照 data-preparation/README.md 进行配置，如有必要，请重新实现自定义数据集的数据处理逻辑，包括对应的converter。

您也可以使用 Easy Dataset、DataFlow 和 GraphGen 构建用于微调的合成数据。

快速开始

下面的命令展示了对 Qwen3-0.6B 模型使用 FSDP2 进行全参微调，两行命令等价。

export USE_V1=1
llamafactory-cli sft examples/v1/train_full/train_full_fsdp2.yaml
llamafactory-cli train examples/v1/train_full/train_full_fsdp2.yaml

高级用法请参考 advanced（包括多卡多机微调、分布式、Lora、量化、以及各种加速特性等）。

2.4 KiB Raw Blame History Unescape Escape