📚 Wilson's Knowledge Base
Search
搜索
暗色模式
亮色模式
探索
标签: continuous-batching
此标签下有2条笔记。
2026年9月12日
How continuous batching enables 23x throughput in LLM inference while reducing p50 latency
continuous-batching
llm-inference
vllm
paged-attention
throughput
latency
benchmarking
orca
2026年9月12日
Inside vLLM: Anatomy of a High-Throughput LLM Inference System
vllm
llm-inference
paged-attention
continuous-batching
speculative-decoding
kv-cache
disaggregated-serving
benchmarking