微调训练模型数据很漂亮，但输出错乱

[YuanJie2001]

训练脚本详见：https://gitee.com/WangJiaHui202144/funasr-nano-finetune/blob/wangjh/finetune_stage.sh
我需要微调87h的专业领域数据，因为有前车之鉴，因此本次分三阶段训练。第一二阶段主要使用SFT微调adapter，数据比 50：50，80：20的专业：通用。 通用数据使用aishell-1
第三阶段使用LORA微调，开启LLM，adapter训练。但第一个阶段训练最后的日志中，各项数据表现优秀，但下载编码测试第一阶段成果，发现输出错乱，无法对齐。应该怎么解决呢？

[YuanJie2001]

#35

[YuanJie2001]

我部分解决了该问题，我写了lora合并参数脚本.但是我还是不太理解，我在训练脚本前两个阶段用的sft，直接拿来用也是乱码，也需要lora参数权重合并...
训练脚本: https://gitee.com/WangJiaHui202144/funasr-nano-finetune/blob/wangjh/finetune_stage.sh
合并lora权重： https://gitee.com/WangJiaHui202144/funasr-nano-finetune/blob/wangjh/tools/lora_merge.py