面向国产智能算力的大模型训推优化平台

地点： 会场4-338

本讲介绍清程极智以国产智能算力提升为核心应用场景，设计开发面向国产大模型的训推优化平台，采用自研赤兔推理引擎，设计训练及微调统一框架、提出混合精度和低比特量化优化方案，在保持计算精度及通用问题求解能力的同时，大幅度提升模型的计算速度、降低计算资源消耗的工程和产品实践。通过拆解大模型推理引擎的挑战和优化技术，展示国产推理引擎与国产智能算力适配的性能优势，以及在此基础之上，如何通过推理引擎的系统优化，达到E2E业务应用Benchmark优化的目的。