Ollama：本地跑大模型，一条命令就够了

GitHub 上 17 万 Star 的项目不多，Ollama 是其中一个。这个开源工具做的事情很简单：让你在自己电脑上运行大语言模型，不需要云端 API，不需要付费，不需要折腾环境。

我自己用过不少本地模型方案，大部分的痛点都一样：配置复杂、依赖多、跑起来慢。Ollama 把这些都简化了。macOS、Windows、Linux 三个平台都能装，一条命令搞定。装完之后，ollama run gemma4 就能直接跟模型对话。

为什么选本地模型？

用云端 API 有几个绕不开的问题。第一是隐私，你的对话内容都经过别人的服务器。第二是成本，调用次数多了费用不低。第三是网络依赖，断网就用不了。

本地模型把这三个问题都解决了。数据不出本机，没有调用费用，断网也能用。代价是需要一定的硬件配置，尤其是显卡。但现在的电脑配置普遍不差，跑个 7B、13B 的模型完全没问题。

Ollama 做的事情就是把本地模型的使用门槛降到最低。以前跑本地模型，你得自己编译 llama.cpp，配环境变量，下载模型文件，写启动脚本。现在一条命令全搞定。

支持的模型和生态

Ollama 的模型库覆盖了主流开源模型：Gemma、Llama、Mistral、Qwen、DeepSeek 等等。想跑哪个，直接 ollama run 模型名 就行，首次运行会自动下载。

除了命令行对话，Ollama 还暴露了一个本地 REST API，端口默认 11434。这意味着你可以把 Ollama 当成本地的模型服务，接入各种应用。Python、JavaScript、Go、Rust、Java、C# 几乎所有主流语言都有对应的 SDK。

实际应用场景很多：

做开发的，可以用它接 Cline、Continue 这些代码助手插件，替代 GitHub Copilot，全程本地运行。

做知识管理的，可以配合 RAG 框架，把本地文档喂给模型做问答。

做产品的，可以用它搭本地聊天机器人，接 WhatsApp、Telegram、Discord 这些平台。

跟同类工具比怎么样？

本地跑模型的方案不少，LM Studio、GPT4All、llama.cpp 都能用。Ollama 的优势在于：

上手最简单。 其他工具或多或少需要配置，Ollama 装完就能用。它的设计思路跟 Docker 类似，模型就是镜像，ollama pull 就是拉取，ollama run 就是运行。

生态最完整。 社区围绕 Ollama 做了大量集成。Web UI 有 Open WebUI、Lobe Chat；桌面客户端有 Chatbox、Cherry Studio；代码编辑器有 VS Code 插件。基本上你能想到的场景，都有现成的工具可以用。

维护有保障。 Ollama 背后有团队在持续开发，更新频率高，社区活跃。不像有些个人项目，用着用着就停更了。

不足的地方

本地模型的能力跟云端大模型还是有差距。你用 Ollama 跑一个 7B 的模型，效果肯定比不上 GPT-4 或 Claude。这是模型本身的限制，不是 Ollama 的问题。

另外，跑模型对硬件有要求。没有独显的话，纯 CPU 推理会很慢。内存至少得 16GB，想跑大一点的模型得 32GB 起步。

还有就是模型更新的问题。云端模型厂商会持续迭代，本地模型你得自己手动更新。不过 Ollama 的更新机制还算方便，ollama pull 一下就行。

怎么开始用？

三个平台的安装都很直接。macOS 和 Linux 执行 curl -fsSL https://ollama.com/install.sh | sh，Windows 执行 irm https://ollama.com/install.ps1 | iex。装完之后打开终端，输入 ollama 就能看到可用命令。

想快速体验，跑 ollama run gemma4 就行。想接入自己的应用，看 API 文档，几行代码就能调通。

如果你一直想试试本地大模型，但被各种配置劝退过，Ollama 值得一试。

API 文档，几行代码就能调通。

如果你一直想试试本地大模型，但被各种配置劝退过，Ollama 值得一试。