d 6979f3f848 经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降

2024-06-11 16:23:40 +08:00

..

processors

经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降

2024-06-11 16:23:40 +08:00

__init__.py

rename files

2024-06-07 00:09:06 +08:00

aligner.py

rename files

2024-06-07 00:09:06 +08:00

collator.py

refactor data preprocessing, fix mllm rlhf

2024-05-24 04:08:25 +08:00

data_utils.py

rename files

2024-06-07 00:09:06 +08:00

formatter.py

rename package

2024-05-16 18:39:08 +08:00

loader.py

rename files

2024-06-07 00:09:06 +08:00

parser.py

Update parser.py

2024-05-30 00:05:20 +08:00

preprocess.py

fix ppo dataset bug #4012

2024-06-06 19:03:20 +08:00

template.py

release v0.8.0

2024-06-08 05:20:54 +08:00