pcie协议仿真

[BGPonlooker]

在阿里云集群中，同一服务器内GPU之间通过nvlink协议互联，因此simAI在通信上仿真了nvlink协议。但是比如‌NVIDIA L40S等GPU并不支持nvlink协议，因此GPU间只能通过pcie协议互联。那么请问SimAI能否仿真这种情况下的pcie协议呢？如果可以的话，需要如何配置。如果不可以的话，能否麻烦帮忙评估一下需要实现这种场景需要对SimAI做出哪些修改？谢谢

[tianhao909]

在阿里云集群中，同一服务器内GPU之间通过nvlink协议互联，因此simAI在通信上仿真了nvlink协议。但是比如‌NVIDIA L40S等GPU并不支持nvlink协议，因此GPU间只能通过pcie协议互联。那么请问SimAI能否仿真这种情况下的pcie协议呢？如果可以的话，需要如何配置。如果不可以的话，能否麻烦帮忙评估一下需要实现这种场景需要对SimAI做出哪些修改？谢谢

hi,

目前通信 simai ns3 建模应该是全部用rdma来仿真；

节点内
nvlink用rdma qp建多个点对点链路， 改通信带宽

节点间也用rdma 仿真
不走tcp

走pcie不知道能不能直接改带宽来赋值， pcie是不是有多卡对一条总线带宽竞争啥的， 具体topo的pcie带宽赋值可能得用真机实测和理论分析校准一下？

=================

#128

这个issue里面有用nccl test生成真机 topo 和带宽的方法，
可能可以测一下，然后赋值
比如64GB/s的pcie， 拆到8张卡上可能会不会除以8，pcie竞争的话

===============

ns3和analytical应该是都没有写非nvswitch节点的逻辑，要加的话，可能会从这里面改

ns3根据topo生成的网络：

/SimAI/astra-sim-alibabacloud/astra-sim/network_frontend/ns3/common.h

void SetupNetwork(void (*qp_finish)(FILE *, Ptr), void (*send_finish)(FILE *, Ptr)) {

analytical根据topo生成的网络：
/SimAI/astra-sim-alibabacloud/astra-sim/network_frontend/analytical/AnalyticalAstra.cc

==========
其他可能参考的一些case：

===================
目前应该是实现了
单gpu 两个网卡（dual tor）， 单gpu 一个网卡，
但好像没有实现两个gpu共用一个网卡

===========
可能可以通过 直接平均分配带宽来模拟
两个GPU共用一个200G网卡
比如 模拟分配一个GPU 一个100G的网卡
不过可能有些误差，误差多少可能得再测测，得看消息大小和通信行为等情况可能