想象一下:你在这台电脑上写私人日记,很想要个 AI 帮你润色、总结——可把日记输入网站,等于把最隐私的东西上传到别人的服务器。或者网一断,在线 AI 瞬间罢工。又或者你只是好奇:网上常说的「开源大模型」,到底用起来什么感觉?有没有一种 AI,能完完全全住在你自己电脑里?不联网、不花钱、文件不出本机——这就是 Ollama 干的事。装一个小小的安装包,一个真正的大模型就开始在你电脑上回答你了。不用编程、不用信用卡,跟着这篇走,十分钟从零聊起来。
装之前,先看看你的电脑够不够格
「本地 AI」意味着模型吃的是你自己电脑的内存和硬盘,门槛不高,但有几条硬线:
- 内存(RAM):至少 8GB;16GB 或以上会明显更顺
- 硬盘空间:留 5–10GB 给安装包和一两个模型
- 系统:Windows 10 或 Windows 11,64 位;具体版本要求以 Ollama 官网文档为准
- 不需要好显卡:CPU 也能跑,只是慢一点;有 NVIDIA 或 AMD 独显会快不少
第一步:下载并安装 Ollama
浏览器打开 ollama.com,点 Windows 下载按钮,拿到一个很小的 .exe 安装包。双击它,一路默认下一步就行——没有任何需要纠结的选项。Ollama 现在是原生 Windows 程序,底层用的是 llama.cpp 这类开源引擎,但你完全不用碰这些原理。

装完后,从开始菜单打开 PowerShell 或命令提示符,验证一下系统能不能找到 Ollama:
ollama --version
能打出一串版本号,而不是提示「找不到命令」,就说明装好了。
第二步:跑起你的第一个大模型
还在同一个终端里,输入下面这条命令,回车。所谓「模型」,就是你聊天时面对的那个训练好的「大脑」——Ollama 的模型库里有几十个,大名鼎鼎的 llama3.2 系列是新手友好的第一个选择。
ollama run llama3.2
第一次运行时,Ollama 会先在后台把模型下载下来——大概几个 GB——所以看到进度条慢慢来别慌。下完之后会出现一个输入提示符,你直接打字就能聊。退出聊天输入 /bye,或者按 Ctrl+D。
如果你主要用中文聊天,建议换 Qwen 系列——它的中文理解明显更好:
ollama run qwen

日常真正会用到的几条命令
看看你已经下载了哪些模型:
ollama list
先下载一个新模型、暂时不聊天(模型名可以去 ollama.com/library 挑):
ollama pull <模型名>
看看现在哪些模型正占着内存在跑:
ollama ps
停掉一个正在跑的模型,把它占的内存腾出来:
ollama stop <模型名>
某个模型不用了,从硬盘里删掉:
ollama rm <模型名>
电脑有点老?换个小一号的模型
模型是分大小的。llama3.2 系列还有 3B 和 1.5B 档的小版本——它思考慢一点、回答朴素一点,但在 8GB 内存的老机器上能跑起来,大模型反而会卡死。用法一模一样:
ollama run llama3.2:3b
哪个模型觉得太重,就用 ollama rm 删掉,换个小的——你只是在「内存速度」和「回答质量」之间做取舍。
新手最容易踩的坑
- 下载特别慢:模型文件有好几个 GB,网络一般或受限的时候会下很久——让它挂着慢慢下,也可以看看你所在地区有没有镜像可用
- 报「内存不足」:你要的模型太大了,换成 3B 或 1.5B 的小版本
- 没有独显也能跑:纯 CPU 模式完全可以,只是回答慢半拍
- 中文回答很差、很奇怪:说明你在用英文为主的模型,换 Qwen 系列
- 杀毒软件或 Windows 弹出拦截:这是正规安装包,按提示选「允许运行」即可
- 别聊着聊着直接关终端——你的对话就存在那个终端窗口里,开新窗口就是新对话了
下一步可以玩什么
跑通之后,可以再装 Open WebUI,给本地模型套一个干净的网页版聊天界面——那是下一课的事。今天这一课先到这里:现在你拥有了一个完完全全住在自己电脑里的 AI。不联网、不花钱、不上传——把 Wi-Fi 拔掉,它照样是你的私人 AI。
官方入口(谨防钓鱼网站)
搜索结果里经常混有仿冒和钓鱼网站,请只通过以下官方网址访问正版工具。
AI 聊天与助手
- 通义千问tongyi.aliyun.com
开源与本地 AI
- Ollamaollama.com
- Open WebUIopenwebui.com
- llama.cppgithub.com/ggerganov/llama.cpp





