d da39715085 经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降 ...

Former-commit-id: 6979f3f8480755604d8aea8164f6418126e094c5

2024-06-11 16:23:40 +08:00

..

api

update trainers

2024-06-06 18:45:49 +08:00

chat

rename files

2024-06-07 00:09:06 +08:00

data

经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降

2024-06-11 16:23:40 +08:00

eval

update evaluator

2024-06-10 23:56:00 +08:00

extras

set dev version

2024-06-11 00:50:53 +08:00

hparams

fix #4198

2024-06-11 15:38:38 +08:00

model

fix #4198

2024-06-11 15:38:38 +08:00

train

fix #4198

2024-06-11 15:38:38 +08:00

webui

add resume args in webui

2024-06-08 00:22:16 +08:00

__init__.py

better llamaboard

2024-05-29 23:55:38 +08:00

cli.py

fix #4137

2024-06-07 19:16:06 +08:00

launcher.py

support DDP in webui

2024-05-28 19:24:22 +08:00