11 Commits

Author	SHA1	Message	Date
hiyouga	1800f8c72d	fix #6499	2025-01-02 11:28:54 +00:00
hiyouga	76f2e59504	tiny fix	2024-09-05 23:41:16 +08:00
hiyouga	47ea97fb1b	lazy image load	2024-09-04 02:27:08 +08:00
hiyouga	bee1bd43b9	tiny fix	2024-08-30 03:21:50 +08:00
hiyouga	38b6b0f52e	tiny fix	2024-06-16 01:06:41 +08:00
hiyouga	d87108daa6	add license	2024-06-15 17:54:33 +08:00
hiyouga	6baafd4eb3	fix #4221	2024-06-13 02:48:21 +08:00
hoshi-hiyouga	0c29233237	Update pretrain.py	2024-06-11 17:02:14 +08:00
d	6979f3f848	经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降	2024-06-11 16:23:40 +08:00
hiyouga	149610c636	fix ppo dataset bug #4012	2024-06-06 19:03:20 +08:00
hiyouga	3a023bca2a	refactor data preprocessing, fix mllm rlhf	2024-05-24 04:08:25 +08:00