Llama pro训练后的模型加数据训练

[nemoiee]

Reminder

• I have read the README and searched the existing issues.

System Info

• llamafactory version: 0.9.2.dev0
• Platform: Linux-5.4.0-202-generic-x86_64-with-glibc2.31
• Python version: 3.10.15
• PyTorch version: 2.1.0+cu121 (GPU)
• Transformers version: 4.46.1
• Datasets version: 3.1.0
• Accelerate version: 1.0.1
• PEFT version: 0.12.0
• TRL version: 0.9.6
• GPU type: NVIDIA A800-SXM4-80GB
• DeepSpeed version: 0.15.4

Reproduction

llamafactory-cli train XXX

Expected behavior

已经进行过一次llama pro的训练，我想在训练的后的模型上叠加一次同类型的数据集训练，请问效果可能会比较好的训练方式是什么呢？
我有想过：

1. 对llama pro训练后的模型做一次lora，我觉得这样对于通用能力损失可能会很大
2. 在训练好的模型基础上继续做一次llama pro，我觉得可能有的问题同上
3. 使用新数据集继续对原拓展层训练，这是我觉得比较靠谱的办法，请问这样可以直接加载中间模型换数据集训练吗？

Others

No response