用 Ollama 与 Open WebUI 一步步搭建本地 AI 助手
本地 AI 助手的意思是：模型下载到你自己的电脑上运行，对话内容不经过任何云端服务器。本文用 Ollama 跑模型、Open WebUI 当聊天界面，两者都是免费开源软件，搭好之后打开浏览器就能像用在线聊天工具一样提问。开始之前先把一句话说清楚：模型跑在本地，数据不出本机；但一旦你打开联网搜索之类的插件，相关内容就会被发出去，这个边界后文会单独提醒。
第 0 步：先确认你的电脑带不带得动
Ollama 本身很轻，真正的门槛在模型。官方没有给出统一的最低配置，因为内存需求取决于你要跑的模型有多大。经验上，7B 到 8B 级别的量化模型一般需要 16GB 左右的内存才能跑得比较顺；更大的模型需要更多内存与显存。这个数字是装机圈的常见经验，不是官方标准，标注为未核实——以你选的模型在官网模型库标注的要求为准。
系统要求以 Ollama 官网为准：macOS 需要 Sonoma（14）或更高版本，Apple 芯片的 Mac 能用上 CPU 与 GPU，Intel 芯片的 Mac 只能用 CPU 跑；Windows 需要 Windows 10 22H2 或更高版本（家庭版或专业版均可），有 NVIDIA 显卡的需要 551.61 或更高版本的驱动；Linux 支持主流的 64 位发行版。先确认系统版本，再往下走。
不要指望所有电脑都能流畅跑所有模型。没有独显的老笔记本也能跑小模型，只是生成速度会慢；想跑几十 B 的大模型，没有大显存显卡或大统一内存的 Mac 基本不用考虑。先从小模型起步，跑顺了再换大的。
第 1 步：安装 Ollama
只从 Ollama 官网下载，不要用第三方搬运的安装包。打开 ollama.com/download，按你的系统选一种方式：
macOS：下载安装包拖进应用程序，或者在终端运行官方安装脚本：
1curl -fsSL https://ollama.com/install.sh | sh
Windows：下载 OllamaSetup.exe 运行安装，或者在 PowerShell 里运行官方一键命令：
1irm https://ollama.com/install.ps1 | iex
Linux：在终端运行官方安装脚本：
1curl -fsSL https://ollama.com/install.sh | sh
装完先验证。打开终端输入 ollama --version，能显示版本号就是装好了；再输入 ollama list，第一次运行会显示一张空的模型列表，这是正常的，说明服务已经在后台跑起来了。Ollama 默认在本机 11434 端口提供本地接口，这个端口只监听本机，外网访问不到。
第 2 步：下载第一个模型
模型在 Ollama 官网的模型库（ollama.com/library）里挑。每个模型页面都写着大小与适用场景，第一次建议选个小模型练手，例如：
1ollama run gemma3
这条命令会先下载模型，再直接进入对话。第一次下载要花些时间，具体多久取决于模型大小和你的网速，下载体积以模型库页面标注的为准，本文不写具体数字。下载完成后就能在终端里直接对话，输入问题、按回车，模型会在本机生成回答；输入 /bye 可以退出。
以后换模型不用重装。想试别的模型，运行 ollama pull 模型名 下载，再用 ollama run 模型名 启动；ollama list 随时查看本机已有的模型，ollama rm 模型名 可以删掉不用的，腾出磁盘空间。
第 3 步：安装 Docker
Open WebUI 官方推荐用 Docker 安装，所以先把 Docker 装好。Windows 与 macOS 装 Docker Desktop，Linux 装 Docker Engine，装完在终端输入 docker --version，能显示版本号就是装好了。
这一步的细节以 Docker 官网为准。Docker Desktop 各版本的安装界面与系统要求时有变化，本文没有逐一核实，安装时遇到问题以 Docker 官方文档的说法为准。Docker 装好之后不要急着启动别的容器，后面的命令会自己拉取 Open WebUI 的镜像。
第 4 步：用 Docker 启动 Open WebUI
先生成一个固定的密钥。Open WebUI 官方文档要求用一个固定的 WEBUI_SECRET_KEY，否则容器重建后登录状态会失效。生成密钥的命令是：
1openssl rand -hex 32
把输出的密钥记下来，替换下面命令里的 your-secret-key。这是 Open WebUI 官方 Quick Start 给出的启动命令：
1docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这条命令里有三处值得讲清楚：-p 3000:8080 是把容器里的 8080 端口映射到你电脑的 3000 端口，浏览器要打开的是 http://localhost:3000；-v open-webui:/app/backend/data 是把聊天记录、账号与设置存在一个数据卷里，没有它，容器一删数据就全没了；--add-host=host.docker.internal:host-gateway 是让容器能访问到装在你电脑上的 Ollama。
启动后打开浏览器访问 http://localhost:3000。第一次打开会让你创建账号，按提示填好就能进入聊天界面；如果页面打不开，先看容器是不是在运行（docker ps），再看 3000 端口有没有被别的程序占用。
第 5 步：连接 Ollama，开始聊天
正常情况下模型列表里直接就有你下载好的模型。Open WebUI 会自动发现本机 Ollama 里的模型，在聊天界面顶部的模型下拉框里选一个就能开始对话。
如果模型列表是空的，按这个顺序排查：先确认 Ollama 还在运行（终端输入 ollama list 能看到模型）；再确认 Open WebUI 的容器在运行（docker ps 能看到 open-webui）；最后去 Open WebUI 的设置里检查连接，Ollama 的地址应为 http://host.docker.internal:11434，这是容器访问宿主机 Ollama 的标准写法。
界面里的常用功能可以慢慢试。新建对话、切换模型、上传文档做知识库问答，都是 Open WebUI 自带的功能；文档问答是把你上传的文件内容交给本地模型处理，不经过云端。想换个模型，不用重启容器，在界面里切换就行。
第 6 步：把隐私边界与日常维护立好
本地对话不出本机，但有两处例外。一是联网搜索、联网插件这类功能：它们要把你的问题发到外部搜索引擎或服务商才能返回结果，开之前先想清楚要不要把这句话发出去；二是 Ollama 后来推出的云端模型（名字后面带 :cloud 的）：这类模型跑在 Ollama 的服务器上，需要账号才能用，和本地模型完全是两回事，别混淆。
不要把端口暴露到公网。Ollama 的本地接口默认没有账号密码保护，它只监听本机是安全的；但如果你手动把它改成监听所有网卡，等于把没有锁门的模型服务放到了网上。Open WebUI 也一样，只在自家局域网用就够了，不要为了“随时随地访问”而直接映射到公网。
更新分两部分。Ollama 本体更新是重新运行安装程序；Open WebUI 更新是拉取新镜像后重建容器，聊天记录保存在数据卷里，重建不会丢。更新前看一眼官方的更新说明，遇到大版本变化先备份数据卷再动手。
如果本地 AI 不适合你，也可以看看云端方案。本地部署胜在隐私与免费，代价是硬件门槛与维护成本；如果只是偶尔问几个问题，站里的《免费 ChatGPT 平替工具横评》介绍了不用部署就能用的云端选择。关于 AI 工具的隐私判断通用方法，也可以参考《AI 工具隐私与安全指南》。
常见问题
3000 端口被占用怎么办。把启动命令里的 -p 3000:8080 改成 -p 3001:8080 这类空闲端口，冒号左边是你电脑的端口、右边是容器里的端口，改左边就行，然后打开 http://localhost:3001。
模型回答特别慢怎么办。先看是不是模型选大了：换个更小的模型，或者关掉同时跑的其他占内存程序；CPU 跑模型本来就慢，这是硬件决定的，不是软件 bug。
容器删了聊天记录还在吗。只要启动命令里带了 -v open-webui:/app/backend/data，记录就存在数据卷里，删容器、升级镜像都不会丢；反过来，没挂数据卷就删容器，记录就找不回来了。
核实说明：本文关键命令、端口与系统要求核实于 2026-11-07，依据为 Ollama 官网下载页（ollama.com/download）与 GitHub 官方 README、Open WebUI 官方文档 Quick Start（docs.openwebui.com）。已核实：各系统安装命令、Ollama 默认本地接口端口 11434、Open WebUI 的 Docker 启动命令与
http://localhost:3000访问地址、数据卷路径/app/backend/data、Ollama 容器内访问地址http://host.docker.internal:11434、macOS Sonoma（14）与 Windows 10 22H2 的最低系统要求。未核实之处：7B 至 8B 模型“约需 16GB 内存”的经验值（非官方标准，以模型库标注为准）、各模型在具体电脑上的实际生成速度、Docker Desktop 各版本安装细节、具体模型的下载体积（以模型库页面为准）。