From 03c538ebb34cb7dda2e18dbb9317b81f46228155 Mon Sep 17 00:00:00 2001 From: hiyouga Date: Tue, 2 Apr 2024 20:58:45 +0800 Subject: [PATCH] add zh readme Former-commit-id: 7765f337c7f0d7b8866beecb990c346700146c67 --- README.md | 2 +- README_zh.md | 2 +- examples/README_zh.md | 43 +++++++++++++++++++++++++++++++++++++++++++ 3 files changed, 45 insertions(+), 2 deletions(-) create mode 100644 examples/README_zh.md diff --git a/README.md b/README.md index c374ab38..6dab2c93 100644 --- a/README.md +++ b/README.md @@ -362,7 +362,7 @@ docker compose -f ./docker-compose.yml up -d ### Command Line Interface -See [examples](examples) for usage. +See [examples/README.md](examples/README.md) for usage. Use `python src/train_bash.py -h` to display arguments description. diff --git a/README_zh.md b/README_zh.md index 6f060460..c62c212c 100644 --- a/README_zh.md +++ b/README_zh.md @@ -362,7 +362,7 @@ docker compose -f ./docker-compose.yml up -d ### 命令行接口 -使用方法请参考 [examples](examples) 文件夹。 +使用方法请参考 [examples/README_zh.md](examples/README_zh.md)。 使用 `python src/train_bash.py -h` 查看参数文档。 diff --git a/examples/README_zh.md b/examples/README_zh.md new file mode 100644 index 00000000..50b5203f --- /dev/null +++ b/examples/README_zh.md @@ -0,0 +1,43 @@ +我们提供了多样化的示例脚本。 + +``` +examples/ +├── lora_single_gpu/ +│ ├── pt.sh: 进行预训练 +│ ├── sft.sh: 进行指令监督微调 +│ ├── reward.sh: 进行奖励模型训练 +│ ├── ppo.sh: 进行 PPO 训练 +│ ├── dpo.sh: 进行 DPO 训练 +│ ├── orpo.sh: 进行 ORPO 训练 +│ ├── prepare.sh: 保存预处理后的数据集 +│ └── predict.sh: 进行批量预测 +├── qlora_single_gpu/ +│ ├── bitsandbytes.sh: 微调 4/8 比特 BNB 模型 +│ ├── gptq.sh: 微调 4/8 比特 GPTQ 模型 +│ ├── awq.sh: 微调 4 比特 AWQ 模型 +│ └── aqlm.sh: 微调 2 比特 AQLM 模型 +├── lora_multi_gpu/ +│ ├── single_node.sh: 使用 Accelerate 进行单节点训练 +│ └── multi_node.sh: 使用 Accelerate 进行多节点训练 +├── full_multi_gpu/ +│ ├── single_node.sh: 使用 DeepSpeed 进行单节点训练 +│ └── multi_node.sh: 使用 DeepSpeed 进行多节点训练 +├── merge_lora/ +│ ├── merge.sh: 将 LoRA 权重合并到预训练模型中 +│ └── quantize.sh: 使用 AutoGPTQ 量化模型 +├── inference/ +│ ├── cli_demo.sh: 启动命令行推理接口 +│ ├── api_demo.sh: 启动 OpenAI 风格 API +│ ├── web_demo.sh: 启动浏览器推理接口 +│ └── evaluate.sh: 在 MMLU 数据集上评测模型 +└── extras/ + ├── galore/ + │ └── sft.sh: 使用 GaLore 训练模型 + ├── loraplus/ + │ └── sft.sh: 使用 LoRA+ 训练模型 + ├── llama_pro/ + │ ├── expand.sh: 扩展模型中的层 + │ └── sft.sh: 训练扩展后的模型 + └── fsdp_qlora/ + └── sft.sh: 使用 FSDP 微调量化模型 +```