KTransformers: 单卡大模型的极致推理

地点： 会场6-B01

KTransformers是CPU GPU异构的推理框架，能够使用一张卡进行DeepSeekR1 KimiK2等主流大模型的推理。它通过把MoE层放到CPU，MLA放到GPU实现了不同计算的分离，充分利用了不同硬件的资源。此外ktransformers还采用了最新研发的Expert Defer技术，能够充分利用CPU GPU异构架构的优势，较大提升性能。ktransformers还在不同的硬件平台上做了广泛的尝试，均取得了不错的成果。