llama.cpp

llama.cpp AI that lives on your computer. Open-source, private & always local. Run frontier AI entirely on your machine. No API keys, no telemetry, no limits. Own your models and conversation data. llama.cpp 是一款运行在你电脑上的 AI。它开源、私密且始终在本地运行。你可以在自己的机器上完全运行前沿 AI 模型，无需 API 密钥，没有遥测数据，也没有任何限制。完全掌控你的模型和对话数据。

curl -LsSf https://llama.app/install.sh | sh Prefer Brew or Winget? Package managers · Rather build from source? Follow instructions curl -LsSf https://llama.app/install.sh | sh。更喜欢使用 Brew 或 Winget？请查看包管理器。更倾向于从源码构建？请按照说明操作。

Pair it with a local coding agent. Run llama serve, install the pi-llama plugin and launch Pi. It will automatically discover your local model. No config, no API keys. Files stay on your machine, requests never leave it. 将其与本地编程助手配合使用。运行 llama serve，安装 pi-llama 插件并启动 Pi。它会自动发现你的本地模型。无需配置，无需 API 密钥。文件保留在你的机器上，请求永远不会离开本地。

# 1. Serve a model llama serve # 2. Install the pi-llama plugin pi install git:github.com/huggingface/pi-llama # 3. Run Pi, everything is set pi

1. 部署模型

llama serve

2. 安装 pi-llama 插件

pi install git:github.com/huggingface/pi-llama

3. 运行 Pi，一切就绪

pi

Optimized for any hardware. From your laptop to a cluster, llama.cpp runs on whatever you have. Same binary, same models, same hand-tuned kernels for every GPU and CPU. 针对任何硬件进行了优化。从你的笔记本电脑到服务器集群，llama.cpp 可以在你拥有的任何设备上运行。相同的二进制文件、相同的模型，以及为每种 GPU 和 CPU 手动调优的内核。

Apple Silicon M Ultra RTX 5090 CPU Jetson H100 MI300 RTX 4090 A100 M Pro M Max DGX Spark T4 Radeon RX B200 Intel Arc RTX 3090 Apple Silicon M Ultra、RTX 5090、CPU、Jetson、H100、MI300、RTX 4090、A100、M Pro、M Max、DGX、Spark、T4、Radeon RX、B200、Intel Arc、RTX 3090。

Run your first model 运行你的第一个模型

Qwen 3.6 Alibaba’s next-gen natively multimodal reasoning models. Dense and MoE variants that rival models many times their size on coding and vision tasks. Qwen 3.6：阿里巴巴的下一代原生多模态推理模型。提供稠密（Dense）和混合专家（MoE）版本，在编程和视觉任务中，其表现足以媲美规模大得多的模型。

Gemma 4 Google’s most capable open models, built from Gemini 3 technology. Supports multimodal reasoning, agentic workflows, and 140+ languages. Gemma 4：谷歌最强大的开源模型，基于 Gemini 3 技术构建。支持多模态推理、智能体工作流以及 140 多种语言。

GPT-OSS OpenAI’s first open-weight models since GPT-2. Built for reasoning, agentic tasks, and developer use with function calling and tool use capabilities. GPT-OSS：OpenAI 自 GPT-2 以来首个开放权重的模型。专为推理、智能体任务以及开发者使用而设计，具备函数调用和工具使用能力。

Gemma 3 Google’s multimodal models built from Gemini technology. Supports 140+ languages, vision, and text tasks with up to 128K context for edge to cloud deployment. Gemma 3：谷歌基于 Gemini 技术构建的多模态模型。支持 140 多种语言、视觉和文本任务，拥有高达 128K 的上下文窗口，适用于从边缘端到云端的部署。

Browse all models 浏览所有模型