💡 [REQUEST] - <title>4.5-o有支持 vllm/sglang 等推理框架的计划嘛

[jiuzhuanzhuan]

起始日期 | Start Date

No response

实现PR | Implementation PR

想要测试下并发推理的速度，请问有vllm支持的计划嘛

相关Issues | Reference Issues

No response

摘要 | Summary

vllm推理支持

基本示例 | Basic Example

vllm推理

缺陷 | Drawbacks

批量测速

未解决问题 | Unresolved questions

No response

[tc-mb]

目前vllm和sglang我们都适配了，vllm已经合入官方，sglang还有待官方pr合入。