SGLang on Ascend大模型推理的高效实践

地点： 会场3-268

华为昇腾架构相比NV GPU架构存在较多不同点，包含芯片的架构、互联、软件栈、编程体系、算子库等，也为sglang on ascend的适配与支持带来诸多挑战。本议题介绍昇腾的体系结构，以及sglang on ascend适配的心路历程与高效实践。我们探讨克服的技术难题、实现的性能优化，以及在将SGLang移植到昇腾生态系统中吸取的经验教训。