使用单机8卡的机器，指定"cuda_ep_cfg.gpu_id": 为0,1,2,3,4,5,6,7，最后还是只会只用0号gpu推理，请问多卡的正确用法是什么呀 # torch gpu input_args = RapidTableInput( model_type=ModelType.UNITABLE, engine_cfg={"use_cuda": True, "cuda_ep_cfg.gpu_id": 1}, )
使用单机8卡的机器，指定"cuda_ep_cfg.gpu_id": 为0,1,2,3,4,5,6,7，最后还是只会只用0号gpu推理，请问多卡的正确用法是什么呀
torch gpu
input_args = RapidTableInput(
model_type=ModelType.UNITABLE,
engine_cfg={"use_cuda": True, "cuda_ep_cfg.gpu_id": 1},
)