mirror of
https://github.com/hiyouga/LLaMA-Factory.git
synced 2025-08-05 21:22:50 +08:00
fix
Former-commit-id: fb2204c183ae8c061ed6ec7f4f1bfbb0b4900c9b
This commit is contained in:
yuze.zyz
parent
e08e0e5814
commit
45925e4a9c
@ -1,7 +1,6 @@
|
|||||||
import os
|
import os
|
||||||
from collections import defaultdict, OrderedDict
|
from collections import defaultdict, OrderedDict
|
||||||
from typing import Dict, Optional
|
from typing import Dict, Optional, Union
|
||||||
|
|
||||||
|
|
||||||
CHOICES = ["A", "B", "C", "D"]
|
CHOICES = ["A", "B", "C", "D"]
|
||||||
|
|
||||||
@ -33,7 +32,7 @@ TRAINING_STAGES = {
|
|||||||
|
|
||||||
|
|
||||||
def register_model_group(
|
def register_model_group(
|
||||||
models: Dict[str, str],
|
models: Dict[str, Union[str, Dict[str, str]]],
|
||||||
module: Optional[str] = None,
|
module: Optional[str] = None,
|
||||||
template: Optional[str] = None
|
template: Optional[str] = None
|
||||||
) -> None:
|
) -> None:
|
||||||
@ -44,10 +43,12 @@ def register_model_group(
|
|||||||
else:
|
else:
|
||||||
assert prefix == name.split("-")[0], "prefix should be identical."
|
assert prefix == name.split("-")[0], "prefix should be identical."
|
||||||
|
|
||||||
SUPPORTED_MODELS[name] = path
|
if not os.environ.get('USE_MODELSCOPE_HUB', False):
|
||||||
if os.environ.get('USE_MODELSCOPE_HUB', False) and name in MODELSCOPE_MODELS:
|
# If path is a string, we treat it as a huggingface model-id by default.
|
||||||
|
SUPPORTED_MODELS[name] = path["hf"] if isinstance(path, dict) else path
|
||||||
|
elif isinstance(path, dict) and "ms" in path:
|
||||||
# Use ModelScope modelhub
|
# Use ModelScope modelhub
|
||||||
SUPPORTED_MODELS[name] = MODELSCOPE_MODELS[name]
|
SUPPORTED_MODELS[name] = path["ms"]
|
||||||
if module is not None:
|
if module is not None:
|
||||||
DEFAULT_MODULE[prefix] = module
|
DEFAULT_MODULE[prefix] = module
|
||||||
if template is not None:
|
if template is not None:
|
||||||
@ -56,402 +57,456 @@ def register_model_group(
|
|||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Baichuan-7B-Base": "baichuan-inc/Baichuan-7B",
|
"Baichuan-7B-Base": {
|
||||||
"Baichuan-13B-Base": "baichuan-inc/Baichuan-13B-Base",
|
"hf": "baichuan-inc/Baichuan-7B",
|
||||||
"Baichuan-13B-Chat": "baichuan-inc/Baichuan-13B-Chat"
|
"ms": "baichuan-inc/baichuan-7B",
|
||||||
|
},
|
||||||
|
"Baichuan-13B-Base": {
|
||||||
|
"hf": "baichuan-inc/Baichuan-13B-Base",
|
||||||
|
"ms": "baichuan-inc/Baichuan-13B-Base",
|
||||||
|
},
|
||||||
|
"Baichuan-13B-Chat": {
|
||||||
|
"hf": "baichuan-inc/Baichuan-13B-Chat",
|
||||||
|
"ms": "baichuan-inc/Baichuan-13B-Base",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="W_pack",
|
module="W_pack",
|
||||||
template="baichuan"
|
template="baichuan"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Baichuan-7B-Base": "baichuan-inc/baichuan-7B",
|
|
||||||
"Baichuan-13B-Base": "baichuan-inc/Baichuan-13B-Base",
|
|
||||||
"Baichuan-13B-Chat": "baichuan-inc/Baichuan-13B-Base"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Baichuan2-7B-Base": "baichuan-inc/Baichuan2-7B-Base",
|
"Baichuan2-7B-Base": {
|
||||||
"Baichuan2-13B-Base": "baichuan-inc/Baichuan2-13B-Base",
|
"hf": "baichuan-inc/Baichuan2-7B-Base",
|
||||||
"Baichuan2-7B-Chat": "baichuan-inc/Baichuan2-7B-Chat",
|
"ms": "baichuan-inc/Baichuan2-7B-Base",
|
||||||
"Baichuan2-13B-Chat": "baichuan-inc/Baichuan2-13B-Chat"
|
},
|
||||||
|
"Baichuan2-13B-Base": {
|
||||||
|
"hf": "baichuan-inc/Baichuan2-13B-Base",
|
||||||
|
"ms": "baichuan-inc/Baichuan2-13B-Base",
|
||||||
|
},
|
||||||
|
"Baichuan2-7B-Chat": {
|
||||||
|
"hf": "baichuan-inc/Baichuan2-7B-Chat",
|
||||||
|
"ms": "baichuan-inc/Baichuan2-7B-Chat",
|
||||||
|
},
|
||||||
|
"Baichuan2-13B-Chat": {
|
||||||
|
"hf": "baichuan-inc/Baichuan2-13B-Chat",
|
||||||
|
"ms": "baichuan-inc/Baichuan2-13B-Chat",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="W_pack",
|
module="W_pack",
|
||||||
template="baichuan2"
|
template="baichuan2"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Baichuan2-7B-Base": "baichuan-inc/Baichuan2-7B-Base",
|
|
||||||
"Baichuan2-13B-Base": "baichuan-inc/Baichuan2-13B-Base",
|
|
||||||
"Baichuan2-7B-Chat": "baichuan-inc/Baichuan2-7B-Chat",
|
|
||||||
"Baichuan2-13B-Chat": "baichuan-inc/Baichuan2-13B-Chat"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"BLOOM-560M": "bigscience/bloom-560m",
|
"BLOOM-560M": {
|
||||||
"BLOOM-3B": "bigscience/bloom-3b",
|
"hf": "bigscience/bloom-560m",
|
||||||
"BLOOM-7B1": "bigscience/bloom-7b1"
|
"ms": "AI-ModelScope/bloom-560m",
|
||||||
|
},
|
||||||
|
"BLOOM-3B": {
|
||||||
|
"hf": "bigscience/bloom-3b",
|
||||||
|
"ms": "bigscience/bloom-3b",
|
||||||
|
},
|
||||||
|
"BLOOM-7B1": {
|
||||||
|
"hf": "bigscience/bloom-7b1",
|
||||||
|
"ms": "bigscience/bloom-7b1",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="query_key_value"
|
module="query_key_value"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"BLOOM-560M": "AI-ModelScope/bloom-560m",
|
|
||||||
"BLOOM-3B": "bigscience/bloom-3b",
|
|
||||||
"BLOOM-7B1": "bigscience/bloom-7b1"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"BLOOMZ-560M": "bigscience/bloomz-560m",
|
"BLOOMZ-560M": {
|
||||||
"BLOOMZ-3B": "bigscience/bloomz-3b",
|
"hf": "bigscience/bloomz-560m",
|
||||||
"BLOOMZ-7B1-mt": "bigscience/bloomz-7b1-mt"
|
"ms": "bigscience/bloomz-560m",
|
||||||
|
},
|
||||||
|
"BLOOMZ-3B": {
|
||||||
|
"hf": "bigscience/bloomz-3b",
|
||||||
|
"ms": "bigscience/bloomz-3b",
|
||||||
|
},
|
||||||
|
"BLOOMZ-7B1-mt": {
|
||||||
|
"hf": "bigscience/bloomz-7b1-mt",
|
||||||
|
"ms": "AI-ModelScope/bloomz-7b1-mt",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="query_key_value"
|
module="query_key_value"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"BLOOMZ-560M": "bigscience/bloomz-560m",
|
|
||||||
"BLOOMZ-3B": "bigscience/bloomz-3b",
|
|
||||||
"BLOOMZ-7B1-mt": "AI-ModelScope/bloomz-7b1-mt"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"BlueLM-7B-Base": "vivo-ai/BlueLM-7B-Base",
|
"BlueLM-7B-Base": {
|
||||||
"BlueLM-7B-Chat": "vivo-ai/BlueLM-7B-Chat"
|
"hf": "vivo-ai/BlueLM-7B-Base",
|
||||||
|
"ms": "vivo-ai/BlueLM-7B-Base",
|
||||||
|
},
|
||||||
|
"BlueLM-7B-Chat": {
|
||||||
|
"hf": "vivo-ai/BlueLM-7B-Chat",
|
||||||
|
"ms": "vivo-ai/BlueLM-7B-Chat",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="bluelm"
|
template="bluelm"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"BlueLM-7B-Base": "vivo-ai/BlueLM-7B-Base",
|
|
||||||
"BlueLM-7B-Chat": "vivo-ai/BlueLM-7B-Chat"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"ChatGLM2-6B-Chat": "THUDM/chatglm2-6b"
|
"ChatGLM2-6B-Chat": {
|
||||||
|
"hf": "THUDM/chatglm2-6b",
|
||||||
|
"ms": "ZhipuAI/chatglm2-6b",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="query_key_value",
|
module="query_key_value",
|
||||||
template="chatglm2"
|
template="chatglm2"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"ChatGLM2-6B-Chat": "ZhipuAI/chatglm2-6b"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"ChatGLM3-6B-Base": "THUDM/chatglm3-6b-base",
|
"ChatGLM3-6B-Base": {
|
||||||
"ChatGLM3-6B-Chat": "THUDM/chatglm3-6b"
|
"hf": "THUDM/chatglm3-6b-base",
|
||||||
|
"ms": "ZhipuAI/chatglm3-6b-base",
|
||||||
|
},
|
||||||
|
"ChatGLM3-6B-Chat": {
|
||||||
|
"hf": "THUDM/chatglm3-6b",
|
||||||
|
"ms": "ZhipuAI/chatglm3-6b",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="query_key_value",
|
module="query_key_value",
|
||||||
template="chatglm3"
|
template="chatglm3"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"ChatGLM3-6B-Base": "ZhipuAI/chatglm3-6b-base",
|
|
||||||
"ChatGLM3-6B-Chat": "ZhipuAI/chatglm3-6b"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"ChineseLLaMA2-1.3B": "hfl/chinese-llama-2-1.3b",
|
"ChineseLLaMA2-1.3B": {
|
||||||
"ChineseLLaMA2-7B": "hfl/chinese-llama-2-7b",
|
"hf": "hfl/chinese-llama-2-1.3b",
|
||||||
"ChineseLLaMA2-13B": "hfl/chinese-llama-2-13b",
|
"ms": "hfl/chinese-llama-2-1.3b",
|
||||||
"ChineseLLaMA2-1.3B-Chat": "hfl/chinese-alpaca-2-1.3b",
|
},
|
||||||
"ChineseLLaMA2-7B-Chat": "hfl/chinese-alpaca-2-7b",
|
"ChineseLLaMA2-7B": {
|
||||||
"ChineseLLaMA2-13B-Chat": "hfl/chinese-alpaca-2-13b"
|
"hf": "hfl/chinese-llama-2-7b",
|
||||||
|
"ms": "hfl/chinese-llama-2-7b",
|
||||||
|
},
|
||||||
|
"ChineseLLaMA2-13B": {
|
||||||
|
"hf": "hfl/chinese-llama-2-13b",
|
||||||
|
"ms": "hfl/chinese-llama-2-13b",
|
||||||
|
},
|
||||||
|
"ChineseLLaMA2-1.3B-Chat": {
|
||||||
|
"hf": "hfl/chinese-alpaca-2-1.3b",
|
||||||
|
"ms": "hfl/chinese-alpaca-2-1.3b",
|
||||||
|
},
|
||||||
|
"ChineseLLaMA2-7B-Chat": {
|
||||||
|
"hf": "hfl/chinese-alpaca-2-7b",
|
||||||
|
"ms": "hfl/chinese-alpaca-2-7b",
|
||||||
|
},
|
||||||
|
"ChineseLLaMA2-13B-Chat": {
|
||||||
|
"hf": "hfl/chinese-alpaca-2-13b",
|
||||||
|
"ms": "hfl/chinese-alpaca-2-13b",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="llama2_zh"
|
template="llama2_zh"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"ChineseLLaMA2-1.3B": "hfl/chinese-llama-2-1.3b",
|
|
||||||
"ChineseLLaMA2-7B": "hfl/chinese-llama-2-7b",
|
|
||||||
"ChineseLLaMA2-13B": "hfl/chinese-llama-2-13b",
|
|
||||||
"ChineseLLaMA2-1.3B-Chat": "hfl/chinese-alpaca-2-1.3b",
|
|
||||||
"ChineseLLaMA2-7B-Chat": "hfl/chinese-alpaca-2-7b",
|
|
||||||
"ChineseLLaMA2-13B-Chat": "hfl/chinese-alpaca-2-13b"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Falcon-7B": "tiiuae/falcon-7b",
|
"Falcon-7B": {
|
||||||
"Falcon-40B": "tiiuae/falcon-40b",
|
"hf": "tiiuae/falcon-7b",
|
||||||
"Falcon-180B": "tiiuae/falcon-180B",
|
"ms": "tiiuae/falcon-7b",
|
||||||
"Falcon-7B-Chat": "tiiuae/falcon-7b-instruct",
|
},
|
||||||
"Falcon-40B-Chat": "tiiuae/falcon-40b-instruct",
|
"Falcon-40B": {
|
||||||
"Falcon-180B-Chat": "tiiuae/falcon-180B-chat"
|
"hf": "tiiuae/falcon-40b",
|
||||||
|
"ms": "tiiuae/falcon-40b",
|
||||||
|
},
|
||||||
|
"Falcon-180B": {
|
||||||
|
"hf": "tiiuae/falcon-180B",
|
||||||
|
"ms": "tiiuae/falcon-180B",
|
||||||
|
},
|
||||||
|
"Falcon-7B-Chat": {
|
||||||
|
"hf": "tiiuae/falcon-7b-instruct",
|
||||||
|
"ms": "AI-ModelScope/falcon-7b-instruct",
|
||||||
|
},
|
||||||
|
"Falcon-40B-Chat": {
|
||||||
|
"hf": "tiiuae/falcon-40b-instruct",
|
||||||
|
"ms": "tiiuae/falcon-40b-instruct",
|
||||||
|
},
|
||||||
|
"Falcon-180B-Chat": {
|
||||||
|
"hf": "tiiuae/falcon-180B-chat",
|
||||||
|
"ms": "tiiuae/falcon-180B-chat",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="query_key_value",
|
module="query_key_value",
|
||||||
template="falcon"
|
template="falcon"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Falcon-7B": "tiiuae/falcon-7b",
|
|
||||||
"Falcon-40B": "tiiuae/falcon-40b",
|
|
||||||
"Falcon-180B": "tiiuae/falcon-180B",
|
|
||||||
"Falcon-7B-Chat": "AI-ModelScope/falcon-7b-instruct",
|
|
||||||
"Falcon-40B-Chat": "tiiuae/falcon-40b-instruct",
|
|
||||||
"Falcon-180B-Chat": "tiiuae/falcon-180B-chat"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"InternLM-7B": "internlm/internlm-7b",
|
"InternLM-7B": {
|
||||||
"InternLM-20B": "internlm/internlm-20b",
|
"hf": "internlm/internlm-7b",
|
||||||
"InternLM-7B-Chat": "internlm/internlm-chat-7b",
|
"ms": "Shanghai_AI_Laboratory/internlm-7b",
|
||||||
"InternLM-20B-Chat": "internlm/internlm-chat-20b"
|
},
|
||||||
|
"InternLM-20B": {
|
||||||
|
"hf": "internlm/internlm-20b",
|
||||||
|
"ms": "Shanghai_AI_Laboratory/internlm-20b",
|
||||||
|
},
|
||||||
|
"InternLM-7B-Chat": {
|
||||||
|
"hf": "internlm/internlm-chat-7b",
|
||||||
|
"ms": "Shanghai_AI_Laboratory/internlm-chat-7b",
|
||||||
|
},
|
||||||
|
"InternLM-20B-Chat": {
|
||||||
|
"hf": "internlm/internlm-chat-20b",
|
||||||
|
"ms": "Shanghai_AI_Laboratory/internlm-chat-20b",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="intern"
|
template="intern"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"InternLM-7B": "Shanghai_AI_Laboratory/internlm-7b",
|
|
||||||
"InternLM-20B": "Shanghai_AI_Laboratory/internlm-20b",
|
|
||||||
"InternLM-7B-Chat": "Shanghai_AI_Laboratory/internlm-chat-7b",
|
|
||||||
"InternLM-20B-Chat": "Shanghai_AI_Laboratory/internlm-chat-20b"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"LingoWhale-8B": "deeplang-ai/LingoWhale-8B"
|
"LingoWhale-8B": {
|
||||||
|
"hf": "deeplang-ai/LingoWhale-8B",
|
||||||
|
"ms": "DeepLang/LingoWhale-8B",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="qkv_proj"
|
module="qkv_proj"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"LingoWhale-8B": "DeepLang/LingoWhale-8B"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"LLaMA-7B": "huggyllama/llama-7b",
|
"LLaMA-7B": {
|
||||||
"LLaMA-13B": "huggyllama/llama-13b",
|
"hf": "huggyllama/llama-7b",
|
||||||
"LLaMA-30B": "huggyllama/llama-30b",
|
"ms": "skyline2006/llama-7b",
|
||||||
"LLaMA-65B": "huggyllama/llama-65b"
|
},
|
||||||
|
"LLaMA-13B": {
|
||||||
|
"hf": "huggyllama/llama-13b",
|
||||||
|
"ms": "skyline2006/llama-13b",
|
||||||
|
},
|
||||||
|
"LLaMA-30B": {
|
||||||
|
"hf": "huggyllama/llama-30b",
|
||||||
|
"ms": "skyline2006/llama-30b",
|
||||||
|
},
|
||||||
|
"LLaMA-65B": {
|
||||||
|
"hf": "huggyllama/llama-65b",
|
||||||
|
"ms": "skyline2006/llama-65b",
|
||||||
|
}
|
||||||
}
|
}
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"LLaMA-7B": "skyline2006/llama-7b",
|
|
||||||
"LLaMA-13B": "skyline2006/llama-13b",
|
|
||||||
"LLaMA-30B": "skyline2006/llama-30b",
|
|
||||||
"LLaMA-65B": "skyline2006/llama-65b"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"LLaMA2-7B": "meta-llama/Llama-2-7b-hf",
|
"LLaMA2-7B": {
|
||||||
"LLaMA2-13B": "meta-llama/Llama-2-13b-hf",
|
"hf": "meta-llama/Llama-2-7b-hf",
|
||||||
"LLaMA2-70B": "meta-llama/Llama-2-70b-hf",
|
"ms": "modelscope/Llama-2-7b-ms",
|
||||||
"LLaMA2-7B-Chat": "meta-llama/Llama-2-7b-chat-hf",
|
},
|
||||||
"LLaMA2-13B-Chat": "meta-llama/Llama-2-13b-chat-hf",
|
"LLaMA2-13B": {
|
||||||
"LLaMA2-70B-Chat": "meta-llama/Llama-2-70b-chat-hf"
|
"hf": "meta-llama/Llama-2-13b-hf",
|
||||||
|
"ms": "modelscope/Llama-2-13b-ms",
|
||||||
|
},
|
||||||
|
"LLaMA2-70B": {
|
||||||
|
"hf": "meta-llama/Llama-2-70b-hf",
|
||||||
|
"ms": "modelscope/Llama-2-70b-ms",
|
||||||
|
},
|
||||||
|
"LLaMA2-7B-Chat": {
|
||||||
|
"hf": "meta-llama/Llama-2-7b-chat-hf",
|
||||||
|
"ms": "modelscope/Llama-2-7b-chat-ms",
|
||||||
|
},
|
||||||
|
"LLaMA2-13B-Chat": {
|
||||||
|
"hf": "meta-llama/Llama-2-13b-chat-hf",
|
||||||
|
"ms": "modelscope/Llama-2-13b-chat-ms",
|
||||||
|
},
|
||||||
|
"LLaMA2-70B-Chat": {
|
||||||
|
"hf": "meta-llama/Llama-2-70b-chat-hf",
|
||||||
|
"ms": "modelscope/Llama-2-70b-chat-ms",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="llama2"
|
template="llama2"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"LLaMA2-7B": "modelscope/Llama-2-7b-ms",
|
|
||||||
"LLaMA2-13B": "modelscope/Llama-2-13b-ms",
|
|
||||||
"LLaMA2-70B": "modelscope/Llama-2-70b-ms",
|
|
||||||
"LLaMA2-7B-Chat": "modelscope/Llama-2-7b-chat-ms",
|
|
||||||
"LLaMA2-13B-Chat": "modelscope/Llama-2-13b-chat-ms",
|
|
||||||
"LLaMA2-70B-Chat": "modelscope/Llama-2-70b-chat-ms"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Mistral-7B": "mistralai/Mistral-7B-v0.1",
|
"Mistral-7B": {
|
||||||
"Mistral-7B-Chat": "mistralai/Mistral-7B-Instruct-v0.1"
|
"hf": "mistralai/Mistral-7B-v0.1",
|
||||||
|
"ms": "AI-ModelScope/Mistral-7B-v0.1",
|
||||||
|
},
|
||||||
|
"Mistral-7B-Chat": {
|
||||||
|
"hf": "mistralai/Mistral-7B-Instruct-v0.1",
|
||||||
|
"ms": "AI-ModelScope/Mistral-7B-Instruct-v0.1",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="mistral"
|
template="mistral"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Mistral-7B": "AI-ModelScope/Mistral-7B-v0.1",
|
|
||||||
"Mistral-7B-Chat": "AI-ModelScope/Mistral-7B-Instruct-v0.1"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"OpenChat3.5-7B-Chat": "openchat/openchat_3.5"
|
"OpenChat3.5-7B-Chat": {
|
||||||
|
"hf": "openchat/openchat_3.5",
|
||||||
|
"ms": "openchat/openchat_3.5",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="openchat"
|
template="openchat"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"OpenChat3.5-7B-Chat": "openchat/openchat_3.5"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Phi1.5-1.3B": "microsoft/phi-1_5"
|
"Phi1.5-1.3B": {
|
||||||
|
"hf": "microsoft/phi-1_5",
|
||||||
|
"ms": "microsoft/phi-1_5",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="Wqkv"
|
module="Wqkv"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Phi1.5-1.3B": "microsoft/phi-1_5"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Qwen-7B": "Qwen/Qwen-7B",
|
"Qwen-7B": {
|
||||||
"Qwen-14B": "Qwen/Qwen-14B",
|
"hf": "Qwen/Qwen-7B",
|
||||||
"Qwen-7B-Chat": "Qwen/Qwen-7B-Chat",
|
"ms": "qwen/Qwen-7B",
|
||||||
"Qwen-14B-Chat": "Qwen/Qwen-14B-Chat",
|
},
|
||||||
"Qwen-7B-int8-Chat": "Qwen/Qwen-7B-Chat-Int8",
|
"Qwen-14B": {
|
||||||
"Qwen-7B-int4-Chat": "Qwen/Qwen-7B-Chat-Int4",
|
"hf": "Qwen/Qwen-14B",
|
||||||
"Qwen-14B-int8-Chat": "Qwen/Qwen-14B-Chat-Int8",
|
"ms": "qwen/Qwen-14B",
|
||||||
"Qwen-14B-int4-Chat": "Qwen/Qwen-14B-Chat-Int4"
|
},
|
||||||
|
"Qwen-7B-Chat": {
|
||||||
|
"hf": "Qwen/Qwen-7B-Chat",
|
||||||
|
"ms": "qwen/Qwen-7B-Chat",
|
||||||
|
},
|
||||||
|
"Qwen-14B-Chat": {
|
||||||
|
"hf": "Qwen/Qwen-14B-Chat",
|
||||||
|
"ms": "qwen/Qwen-14B-Chat",
|
||||||
|
},
|
||||||
|
"Qwen-7B-int8-Chat": {
|
||||||
|
"hf": "Qwen/Qwen-7B-Chat-Int8",
|
||||||
|
"ms": "qwen/Qwen-7B-Chat-Int8",
|
||||||
|
},
|
||||||
|
"Qwen-7B-int4-Chat": {
|
||||||
|
"hf": "Qwen/Qwen-7B-Chat-Int4",
|
||||||
|
"ms": "qwen/Qwen-7B-Chat-Int4",
|
||||||
|
},
|
||||||
|
"Qwen-14B-int8-Chat": {
|
||||||
|
"hf": "Qwen/Qwen-14B-Chat-Int8",
|
||||||
|
"ms": "qwen/Qwen-14B-Chat-Int8",
|
||||||
|
},
|
||||||
|
"Qwen-14B-int4-Chat": {
|
||||||
|
"hf": "Qwen/Qwen-14B-Chat-Int4",
|
||||||
|
"ms": "qwen/Qwen-14B-Chat-Int4",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
module="c_attn",
|
module="c_attn",
|
||||||
template="qwen"
|
template="qwen"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Qwen-7B": "qwen/Qwen-7B",
|
|
||||||
"Qwen-14B": "qwen/Qwen-14B",
|
|
||||||
"Qwen-7B-Chat": "qwen/Qwen-7B-Chat",
|
|
||||||
"Qwen-14B-Chat": "qwen/Qwen-14B-Chat",
|
|
||||||
"Qwen-7B-int8-Chat": "qwen/Qwen-7B-Chat-Int8",
|
|
||||||
"Qwen-7B-int4-Chat": "qwen/Qwen-7B-Chat-Int4",
|
|
||||||
"Qwen-14B-int8-Chat": "qwen/Qwen-14B-Chat-Int8",
|
|
||||||
"Qwen-14B-int4-Chat": "qwen/Qwen-14B-Chat-Int4"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Skywork-13B-Base": "Skywork/Skywork-13B-base"
|
"Skywork-13B-Base": {
|
||||||
|
"hf": "Skywork/Skywork-13B-base",
|
||||||
|
"ms": "skywork/Skywork-13B-base",
|
||||||
|
}
|
||||||
}
|
}
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Skywork-13B-Base": "skywork/Skywork-13B-base"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Vicuna1.5-7B-Chat": "lmsys/vicuna-7b-v1.5",
|
"Vicuna1.5-7B-Chat": {
|
||||||
"Vicuna1.5-13B-Chat": "lmsys/vicuna-13b-v1.5"
|
"hf": "lmsys/vicuna-7b-v1.5",
|
||||||
|
"ms": "AI-ModelScope/vicuna-7b-v1.5",
|
||||||
|
},
|
||||||
|
"Vicuna1.5-13B-Chat": {
|
||||||
|
"hf": "lmsys/vicuna-13b-v1.5",
|
||||||
|
"ms": "lmsys/vicuna-13b-v1.5",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="vicuna"
|
template="vicuna"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Vicuna1.5-7B-Chat": "AI-ModelScope/vicuna-7b-v1.5",
|
|
||||||
"Vicuna1.5-13B-Chat": "lmsys/vicuna-13b-v1.5"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"XVERSE-7B": "xverse/XVERSE-7B",
|
"XVERSE-7B": {
|
||||||
"XVERSE-13B": "xverse/XVERSE-13B",
|
"hf": "xverse/XVERSE-7B",
|
||||||
"XVERSE-65B": "xverse/XVERSE-65B",
|
"ms": "xverse/XVERSE-7B",
|
||||||
"XVERSE-7B-Chat": "xverse/XVERSE-7B-Chat",
|
},
|
||||||
"XVERSE-13B-Chat": "xverse/XVERSE-13B-Chat"
|
"XVERSE-13B": {
|
||||||
|
"hf": "xverse/XVERSE-13B",
|
||||||
|
"ms": "xverse/XVERSE-13B",
|
||||||
|
},
|
||||||
|
"XVERSE-65B": {
|
||||||
|
"hf": "xverse/XVERSE-65B",
|
||||||
|
"ms": "xverse/XVERSE-65B",
|
||||||
|
},
|
||||||
|
"XVERSE-7B-Chat": {
|
||||||
|
"hf": "xverse/XVERSE-7B-Chat",
|
||||||
|
"ms": "xverse/XVERSE-7B-Chat",
|
||||||
|
},
|
||||||
|
"XVERSE-13B-Chat": {
|
||||||
|
"hf": "xverse/XVERSE-13B-Chat",
|
||||||
|
"ms": "xverse/XVERSE-13B-Chat",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="xverse"
|
template="xverse"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"XVERSE-7B": "xverse/XVERSE-7B",
|
|
||||||
"XVERSE-13B": "xverse/XVERSE-13B",
|
|
||||||
"XVERSE-65B": "xverse/XVERSE-65B",
|
|
||||||
"XVERSE-7B-Chat": "xverse/XVERSE-7B-Chat",
|
|
||||||
"XVERSE-13B-Chat": "xverse/XVERSE-13B-Chat"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Yayi-7B": "wenge-research/yayi-7b-llama2",
|
"Yayi-7B": {
|
||||||
"Yayi-13B": "wenge-research/yayi-13b-llama2"
|
"hf": "wenge-research/yayi-7b-llama2",
|
||||||
|
"ms": "wenge-research/yayi-7b-llama2",
|
||||||
|
},
|
||||||
|
"Yayi-13B": {
|
||||||
|
"hf": "wenge-research/yayi-13b-llama2",
|
||||||
|
"ms": "wenge-research/yayi-13b-llama2",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="yayi"
|
template="yayi"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Yayi-7B": "wenge-research/yayi-7b-llama2",
|
|
||||||
"Yayi-13B": "wenge-research/yayi-13b-llama2"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Yi-6B": "01-ai/Yi-6B",
|
"Yi-6B": {
|
||||||
"Yi-34B": "01-ai/Yi-34B",
|
"hf": "01-ai/Yi-6B",
|
||||||
"Yi-34B-Chat": "01-ai/Yi-34B-Chat",
|
"ms": "01ai/Yi-6B",
|
||||||
"Yi-34B-int8-Chat": "01-ai/Yi-34B-Chat-8bits"
|
},
|
||||||
|
"Yi-34B": {
|
||||||
|
"hf": "01-ai/Yi-34B",
|
||||||
|
"ms": "01ai/Yi-34B",
|
||||||
|
},
|
||||||
|
"Yi-34B-Chat": {
|
||||||
|
"hf": "01-ai/Yi-34B-Chat",
|
||||||
|
"ms": "01ai/Yi-34B-Chat",
|
||||||
|
},
|
||||||
|
"Yi-34B-int8-Chat": {
|
||||||
|
"hf": "01-ai/Yi-34B-Chat-8bits",
|
||||||
|
"ms": "01ai/Yi-34B-Chat-8bits",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="yi"
|
template="yi"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Yi-6B": "01ai/Yi-6B",
|
|
||||||
"Yi-34B": "01ai/Yi-34B",
|
|
||||||
"Yi-34B-Chat": "01ai/Yi-34B-Chat",
|
|
||||||
"Yi-34B-int8-Chat": "01ai/Yi-34B-Chat-8bits"
|
|
||||||
})
|
|
||||||
|
|
||||||
|
|
||||||
register_model_group(
|
register_model_group(
|
||||||
models={
|
models={
|
||||||
"Zephyr-7B-Alpha-Chat": "HuggingFaceH4/zephyr-7b-alpha",
|
"Zephyr-7B-Alpha-Chat": {
|
||||||
"Zephyr-7B-Beta-Chat": "HuggingFaceH4/zephyr-7b-beta"
|
"hf": "HuggingFaceH4/zephyr-7b-alpha",
|
||||||
|
"ms": "HuggingFaceH4/zephyr-7b-alpha",
|
||||||
|
},
|
||||||
|
"Zephyr-7B-Beta-Chat": {
|
||||||
|
"hf": "HuggingFaceH4/zephyr-7b-beta",
|
||||||
|
"ms": "modelscope/zephyr-7b-beta",
|
||||||
|
}
|
||||||
},
|
},
|
||||||
template="zephyr"
|
template="zephyr"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
MODELSCOPE_MODELS.update({
|
|
||||||
"Zephyr-7B-Alpha-Chat": "HuggingFaceH4/zephyr-7b-alpha",
|
|
||||||
"Zephyr-7B-Beta-Chat": "modelscope/zephyr-7b-beta"
|
|
||||||
})
|
|
||||||
|
|||||||
@ -238,7 +238,10 @@ def try_download_model_from_ms(model_args):
|
|||||||
if os.environ.get('USE_MODELSCOPE_HUB', False) and not os.path.exists(model_args.model_name_or_path):
|
if os.environ.get('USE_MODELSCOPE_HUB', False) and not os.path.exists(model_args.model_name_or_path):
|
||||||
try:
|
try:
|
||||||
from modelscope import snapshot_download
|
from modelscope import snapshot_download
|
||||||
model_args.model_name_or_path = snapshot_download(model_args.model_name_or_path, model_args.model_revision)
|
revision = model_args.model_revision
|
||||||
|
if revision == 'main':
|
||||||
|
revision = 'master'
|
||||||
|
model_args.model_name_or_path = snapshot_download(model_args.model_name_or_path, revision)
|
||||||
except ImportError as e:
|
except ImportError as e:
|
||||||
raise ImportError(f'You are using `USE_MODELSCOPE_HUB=True` but you have no modelscope sdk installed. '
|
raise ImportError(f'You are using `USE_MODELSCOPE_HUB=True` but you have no modelscope sdk installed. '
|
||||||
f'Please install it by `pip install modelscope -U`') from e
|
f'Please install it by `pip install modelscope -U`') from e
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user