SGLang：一个高效的开源大规模LLM服务框架

地点： 会场3-268

SGLang是一个高效的开源大规模LLM服务框架。在过去的一年中，SGLang经历了快速的迭代和发展，本次Talk将概括性地介绍SGLang的核心特性，主要包括：KV Cache重用、Zero-overhead批调度、投机采样、Prefill & Decode分离和大规模专家并行。