SGLang使能MindSpore框架方案

地点： 会场4-338

目前，SGLang唯一支持的AI框架是PyTorch，并通过torch_npu插件得以在昇腾NPU上运行。我们设计了PyTorch和MindSpore双框架协同运行的方案，充分考虑了跨框架的资源复用，并尽量简化接口，发挥MindSpore在昇腾NPU上的性能优势。开发者能够轻松地将MindSpore模型接入SGLang，而用户的使用流程无任何变化。MindSpore的接入方案也为后续其他框架的接入提供了基础。