vLLM v0.31.0

Mac ✓ 人工核验免费

👁 50万浏览⬇ 20万下载🗂 AI工具 · GitHub 排行榜💻 macOS

下载官网下载

本站直链下载，点击即开始下载；如直链失效，可使用官网下载Direct download from our mirror; if it fails, use the official download

📸 预览

📖 应用介绍

大模型推理加速引擎，PagedAttention 显存管理技术让吞吐翻几倍，兼容 OpenAI 接口。生产环境部署开源大模型的事实标准，自己搭 LLM 服务从它开始。An LLM inference acceleration engine — PagedAttention memory management multiplies throughput, with an OpenAI-compatible interface. The de facto standard for deploying open LLMs in production; start here for self-hosted LLM services.

本地大模型推理加速开源GitHub热门

💿 安装方法

直接安装：下载 .dmg 文件后双击打开，将应用拖到"应用程序"文件夹即可。Download the .dmg file, double-click to open, then drag the app to the Applications folder.

如遇"已损坏，打不开"：这是 macOS 的安全机制。打开"终端"，输入 This is macOS security. Open Terminal and type sudo xattr -rd com.apple.quarantine /Applications/vLLM.app 后回车，输入开机密码即可。 then press Enter and type your login password.

如遇"来自身份不明开发者"：前往"系统设置 → 隐私与安全性"，点击"仍要打开"。