不用联网也能用的开源 AI：本地电脑运行完全指南
把 AI 装进自己的电脑，意思是模型文件下载到本机硬盘上，对话在你自己的处理器和显卡上完成，不经过任何云端服务器。最大的好处是隐私：只要不打开联网功能，你输入的内容就不会被发到别人的服务器上。代价也很直接：模型有多大，你的电脑就要有多强的内存和显存。
这篇指南只讲一个目标：帮你在自己的电脑上跑起第一个开源模型。本地模型的强项是离线可用、免费无限次、数据不出本机；弱项是能力上限受硬件限制，复杂推理通常不如云端旗舰模型。只是偶尔问几个问题，云端工具更省事。
先看三张对比表，再决定怎么装
表一：常见开源模型怎么选
| 模型家族 | 擅长方向 | 适合人群 | 注意事项 |
|---|---|---|---|
| Llama 系列 | 通用对话、写作、问答 | 第一次本地部署的新手 | 许可证与商用条款因版本而异，下载前先看模型页说明 |
| Qwen 系列 | 中文对话、代码、数学 | 中文用得多、常写代码的人 | 规模分档多，先从小规模起步再往上换 |
| Gemma 系列 | 轻量对话、手机端与低配电脑 | 内存小的老电脑 | 体积相对小，适合先验证流程是否跑得通 |
| Mistral 系列 | 通用对话、指令跟随 | 想换个风格试试的人 | 不同版本定位不同，别只看名字就下载 |
| DeepSeek 系列 | 推理、代码、数学 | 需要较强推理能力的人 | 推理模型出字更慢，需要更多耐心与内存 |
选模型的原则只有一条：先从小规模开始。小模型下载快、占内存少，跑顺了再换大模型。一上来就下载最大的模型，电脑很可能直接卡住，还分不清是模型太大还是安装出了问题。模型的具体体积与内存需求以模型库页面标注为准，本文不写死数字。
开源权重不等于完全没有使用限制，有的模型只允许研究使用，下载前先看模型页的许可证说明。
表二：运行工具怎么选
| 工具 | 类型 | 上手难度 | 适合场景 |
|---|---|---|---|
| Ollama | 命令行运行器 | 低 | 想最快跑起来、以后接其他界面的人 |
| LM Studio | 图形界面应用 | 低 | 怕命令行、想点几下鼠标就聊天的人 |
| llama.cpp | 命令行推理引擎 | 高 | 想精细控制参数、自己折腾的进阶用户 |
| GPT4All | 图形界面应用 | 低 | 想要开箱即用的聊天窗口、不想配环境的人 |
| Open WebUI | 网页聊天界面 | 中 | 想给 Ollama 配一个好看的网页界面的人 |
这里要纠正一个常见误解：LM Studio 本身不是开源软件，它是一个免费桌面应用，底层用到了开源推理引擎。同样，Open WebUI 不是推理引擎，只是一个聊天界面，必须先装好 Ollama 这类运行器才能工作。选工具前先分清它是运行器、界面还是引擎。
表三：硬件需求怎么对照
| 电脑档位 | 内存情况 | 能跑的模型规模 | 使用体验 |
|---|---|---|---|
| 入门档 | 内存较小、无独立显卡 | 最小规模模型 | 能跑，但出字慢，只适合短对话 |
| 主流档 | 内存中等、有入门级独立显卡或统一内存较足的苹果芯片电脑 | 中小规模模型 | 日常对话可用，是性价比最高的起点 |
| 高配档 | 内存充裕、显存较大的独立显卡 | 中大规模模型 | 速度明显更好，能应付更长的对话 |
| 顶配档 | 大内存加大显存 | 大规模模型 | 体验接近云端，但投入成本最高 |
这张表只讲档位对照，不写具体速度数字，因为同一模型在不同电脑上的实际生成速度差别很大，本文没有逐台实测。模型能完整放进内存或显存里，速度才谈得上可用；放不进去会频繁换页，慢到没法用。
硬件方面有两条官方口径可以直接用：Ollama 官方要求 macOS 需要 Sonoma 或更高版本，Windows 需要 Windows 10 22H2 或更高版本，苹果芯片的 Mac 能用上图形加速，英特尔芯片的 Mac 只能用处理器跑，核实日期为 2026-11-09。LM Studio 官方推荐内存 16GB、显存 4GB，苹果芯片的 Mac 需要 macOS 14 或更高版本且只支持苹果芯片机型，x64 处理器需要支持 AVX2 指令集，核实日期为 2026-11-09。
第一步：只从官网下载安装包
只从工具官网下载，不要用第三方搬运的安装包。以 Ollama 为例，打开官网下载页：苹果电脑下载安装包拖进应用程序，Windows 下载安装程序运行安装，Linux 在终端运行官方安装脚本。装完输入 ollama --version，能显示版本号就是装好了。
LM Studio 的安装更简单：打开官网下载页，苹果电脑拖进应用程序，Windows 直接运行安装程序，Linux 下载应用镜像文件后给它加上可执行权限再运行。装完先确认应用能正常打开，再下载模型。
第二步：下载第一个小模型
第一次只下载一个小模型练手。在 Ollama 里，打开终端输入下载并运行模型的命令，第一次下载要花些时间，具体多久取决于模型大小与网速，下载体积以模型库页面标注的为准。下载完成后就能在终端里直接对话。
在 LM Studio 里，点开模型搜索栏，输入模型名字，挑一个体积小的版本点下载，下载完成点加载，再打开聊天窗口提问。下载前先看一眼界面显示的体积与显存占用，确认内存够不够。
下载之前先确认磁盘空间。模型文件一个就有几个 GB，下载两三个大模型，几十 GB 就没了。磁盘快满时先删不用的模型再下新的。Ollama 里可以用列表命令查看本机已有的模型，用删除命令删掉不用的；LM Studio 里在模型管理页面删除即可。
第三步：试聊三轮，再决定要不要换大模型
装好之后不要马上换大模型，先用小模型聊三轮：问一个日常问题，看回答是否通顺；问一个你熟悉的专业问题，看有没有明显错误；让它写一段短文或一段代码，看格式是否正常。三轮都通过，说明流程没问题；哪一轮出问题，先排查是模型能力不够还是安装有问题。
如果回答特别慢，先看是不是模型选大了。换个更小的模型，或者关掉同时跑的其他占内存程序，速度一般会好转。处理器跑模型本来就慢，这是硬件决定的，不是软件出了故障。
隐私边界：本地对话不出本机，但有两处例外
本地对话不出本机，但有两处例外。一是联网搜索与联网插件：它们要把你的问题发到外部搜索引擎或服务商才能返回结果，开之前先想清楚要不要把这句话发出去。二是名字后面带云端标记的模型：这类模型跑在服务商的服务器上，需要账号才能用，和本地模型完全是两回事。
不要把本地接口暴露到公网。Ollama 的本地接口默认只监听本机，也没有账号密码保护；但如果你手动把它改成监听所有网卡，等于把没有锁门的模型服务放到了网上。只在自家局域网用就够了，不要为了随时随地访问而直接映射到公网。
维护与故障排查
聊天记录存在哪里。Ollama 的对话记录默认不长期保存，关掉终端窗口记录就没了；想要保存记录，需要配一个带保存功能的界面，例如 Open WebUI。
想给 Ollama 配网页聊天界面，可以参考本站另一篇用 Ollama 与 Open WebUI 一步步搭建本地 AI 助手。
核实说明：核实日期为 2026-11-09。已核实：Ollama 官方系统要求，macOS Sonoma 或更高版本、Windows 10 22H2 或更高版本、苹果芯片 Mac 支持图形加速而英特尔 Mac 只能用处理器跑；LM Studio 官方推荐内存 16GB、显存 4GB，macOS 14 或更高版本且只支持苹果芯片机型，x64 处理器需要支持 AVX2；LM Studio 本身不是开源软件。未核实之处：各模型在具体电脑上的实际生成速度；各模型的具体体积与内存占用，以模型库页面标注为准；各模型家族的许可证细节，以各模型页面为准。