Files
LLaMA-Factory/docs/zh/configuration/inference.md
2026-09-14 16:09:48 +08:00

11 lines
307 B
Markdown

# 推理参数
## SampleArguments
| 字段 | 类型 | 默认值 | 说明 |
|------|------|--------|------|
| `sample_backend` | `str` | `hf` | 采样后端;可用值为 `hf` |
| `max_new_tokens` | `int` | `128` | 单次最多生成 token 数 |
使用方法见[推理](../feature-guide/inference.md)。