fp32 精度-inference

[biubiobiu]

如果需要fp32，修改llama_infer.py的L41为对应的精度。
大佬，这个是什么意思啊？是在llama_infer.py的第41行修改吗？使用fp32精度该怎么配置呀

[fengyh3]

不好意思，readme没有改，只需要注释掉第43行：torch.set_default_tensor_type(torch.HalfTensor) 即可。

[biubiobiu]

谢谢大佬，我试一下

[Ke51n]

不好意思，readme没有改，只需要注释掉第43行：torch.set_default_tensor_type(torch.HalfTensor) 即可。

请问有没有fp32转16的脚本呀，我这边只有32的模型，但是加载时显存不够