RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

[yingzhao27]

请问在next_token = torch.multinomial(scores, num_samples=1).squeeze(1)这个地方报RuntimeError: probability tensor contains either inf, nan or element < 0可以怎么解决呢

[fengyh3]

我以前遇到过这个问题，因为某一个token的probs是inf，有可能是模型训练得有问题？解决了么？

[yingzhao27]

我以前遇到过这个问题，因为某一个token的probs是inf，有可能是模型训练得有问题？解决了么？

没有解决，同样的模型在同一台机器上，一张卡、两张卡都可以，四张卡就会报这个错