[疑问] 测性能缺少TPOT/ITL指标数据 #218
Description
疑问描述
代码commitId：0ea1694bbc9551ca8bfd5338d37fceb25b9037f3
[2026-03-26 10:19:48,085] [ais_bench] [INFO] Performance data calculation completed!
[2026-03-26 10:19:48,085] [ais_bench] [INFO] Performance Results of task [vllm-api-stream-chat/synthetic]:
╒══════════════════════════╤═════════╤═════════════════╤═══════════════╤═════════════════╤═════════════════╤═════════════════╤════════════════╤═════════════════╤═════╕
│ Performance Parameters │ Stage │ Average │ Min │ Max │ Median │ P75 │ P90 │ P99 │ N │
╞══════════════════════════╪═════════╪═════════════════╪═══════════════╪═════════════════╪═════════════════╪═════════════════╪════════════════╪═════════════════╪═════╡
│ E2EL │ total │ 81778.9 ms │ 49766.7 ms │ 88372.6 ms │ 87045.2 ms │ 87225.2 ms │ 87424.3 ms │ 88277.8 ms │ 10 │
├──────────────────────────┼─────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼────────────────┼─────────────────┼─────┤
│ TTFT │ total │ 81778.9 ms │ 49766.7 ms │ 88372.6 ms │ 87045.2 ms │ 87225.2 ms │ 87424.3 ms │ 88277.8 ms │ 10 │
├──────────────────────────┼─────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼────────────────┼─────────────────┼─────┤
│ InputTokens │ total │ 48.4 │ 48.0 │ 51.0 │ 48.0 │ 48.0 │ 49.2 │ 50.82 │ 10 │
├──────────────────────────┼─────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼────────────────┼─────────────────┼─────┤
│ OutputTokens │ total │ 894.3 │ 309.0 │ 1024.0 │ 1024.0 │ 1024.0 │ 1024.0 │ 1024.0 │ 10 │
├──────────────────────────┼─────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼────────────────┼─────────────────┼─────┤
│ OutputTokenThroughput │ total │ 10.6434 token/s │ 6.209 token/s │ 11.8288 token/s │ 11.7419 token/s │ 11.7709 token/s │ 11.799 token/s │ 11.8258 token/s │ 10 │
╘══════════════════════════╧═════════╧═════════════════╧═══════════════╧═════════════════╧═════════════════╧═════════════════╧════════════════╧═════════════════╧═════╛
╒══════════════════════════╤═════════╤══════════════════╕
│ Common Metric │ Stage │ Value │
╞══════════════════════════╪═════════╪══════════════════╡
│ Benchmark Duration │ total │ 88426.941 ms │
├──────────────────────────┼─────────┼──────────────────┤
│ Total Requests │ total │ 10 │
├──────────────────────────┼─────────┼──────────────────┤
│ Failed Requests │ total │ 0 │
├──────────────────────────┼─────────┼──────────────────┤
│ Success Requests │ total │ 10 │
├──────────────────────────┼─────────┼──────────────────┤
│ Concurrency │ total │ 9.2482 │
├──────────────────────────┼─────────┼──────────────────┤
│ Max Concurrency │ total │ 16 │
├──────────────────────────┼─────────┼──────────────────┤
│ Request Throughput │ total │ 0.1131 req/s │
├──────────────────────────┼─────────┼──────────────────┤
│ Total Input Tokens │ total │ 484 │
├──────────────────────────┼─────────┼──────────────────┤
│ Prefill Token Throughput │ total │ 0.5918 token/s │
├──────────────────────────┼─────────┼──────────────────┤
│ Total Generated Tokens │ total │ 8943 │
├──────────────────────────┼─────────┼──────────────────┤
│ Input Token Throughput │ total │ 5.4734 token/s │
├──────────────────────────┼─────────┼──────────────────┤
│ Output Token Throughput │ total │ 101.1343 token/s │
├──────────────────────────┼─────────┼──────────────────┤
│ Total Token Throughput │ total │ 106.6078 token/s │
╘══════════════════════════╧═════════╧══════════════════╛
这里是benmark测合成数据集的结果，缺少TPOT和TIL的数据。
测试命令是：ais_bench --models vllm_api_stream_chat --datasets synthetic_gen --mode perf --debug
docker内的benchmark版本是：3.1.20260319
前置检查
- 我已读懂主页文档的快速入门，无法解答我的疑惑