功能介绍

大模型推理加速引擎，PagedAttention 显存管理技术让吞吐翻几倍，兼容 OpenAI 接口。生产环境部署开源大模型的事实标准，自己搭 LLM 服务从它开始。