想象一下:你在这台电脑上写私人日记,很想要个 AI 帮你润色、总结——可把日记输入网站,等于把最隐私的东西上传到别人的服务器。或者网一断,在线 AI 瞬间罢工。又或者你只是好奇:网上常说的「开源大模型」,到底用起来什么感觉?有没有一种 AI,能完完全全住在你自己电脑里?不联网、不花钱、文件不出本机——这就是 Ollama 干的事。装一个小小的安装包,一个真正的大模型就开始在你电脑上回答你了。不用编程、不用信用卡,跟着这篇走,十分钟从零聊起来。

装之前,先看看你的电脑够不够格

「本地 AI」意味着模型吃的是你自己电脑的内存和硬盘,门槛不高,但有几条硬线:

  • 内存(RAM):至少 8GB;16GB 或以上会明显更顺
  • 硬盘空间:留 5–10GB 给安装包和一两个模型
  • 系统:Windows 10 或 Windows 11,64 位;具体版本要求以 Ollama 官网文档为准
  • 不需要好显卡:CPU 也能跑,只是慢一点;有 NVIDIA 或 AMD 独显会快不少

第一步:下载并安装 Ollama

浏览器打开 ollama.com,点 Windows 下载按钮,拿到一个很小的 .exe 安装包。双击它,一路默认下一步就行——没有任何需要纠结的选项。Ollama 现在是原生 Windows 程序,底层用的是 llama.cpp 这类开源引擎,但你完全不用碰这些原理。

Ollama 官网,从这里下载
Ollama 官网——免费开源,从这里下载安装。

装完后,从开始菜单打开 PowerShell 或命令提示符,验证一下系统能不能找到 Ollama:

ollama --version

能打出一串版本号,而不是提示「找不到命令」,就说明装好了。

第二步:跑起你的第一个大模型

还在同一个终端里,输入下面这条命令,回车。所谓「模型」,就是你聊天时面对的那个训练好的「大脑」——Ollama 的模型库里有几十个,大名鼎鼎的 llama3.2 系列是新手友好的第一个选择。

ollama run llama3.2

第一次运行时,Ollama 会先在后台把模型下载下来——大概几个 GB——所以看到进度条慢慢来别慌。下完之后会出现一个输入提示符,你直接打字就能聊。退出聊天输入 /bye,或者按 Ctrl+D。

如果你主要用中文聊天,建议换 Qwen 系列——它的中文理解明显更好:

ollama run qwen
本地运行 Ollama 的终端窗口:模型下载进度条走完后出现聊天提示符
进度条一满,你就进了一个不联网也能用的纯文字聊天框。

日常真正会用到的几条命令

看看你已经下载了哪些模型:

ollama list

先下载一个新模型、暂时不聊天(模型名可以去 ollama.com/library 挑):

ollama pull <模型名>

看看现在哪些模型正占着内存在跑:

ollama ps

停掉一个正在跑的模型,把它占的内存腾出来:

ollama stop <模型名>

某个模型不用了,从硬盘里删掉:

ollama rm <模型名>

电脑有点老?换个小一号的模型

模型是分大小的。llama3.2 系列还有 3B 和 1.5B 档的小版本——它思考慢一点、回答朴素一点,但在 8GB 内存的老机器上能跑起来,大模型反而会卡死。用法一模一样:

ollama run llama3.2:3b

哪个模型觉得太重,就用 ollama rm 删掉,换个小的——你只是在「内存速度」和「回答质量」之间做取舍。

新手最容易踩的坑

  • 下载特别慢:模型文件有好几个 GB,网络一般或受限的时候会下很久——让它挂着慢慢下,也可以看看你所在地区有没有镜像可用
  • 报「内存不足」:你要的模型太大了,换成 3B 或 1.5B 的小版本
  • 没有独显也能跑:纯 CPU 模式完全可以,只是回答慢半拍
  • 中文回答很差、很奇怪:说明你在用英文为主的模型,换 Qwen 系列
  • 杀毒软件或 Windows 弹出拦截:这是正规安装包,按提示选「允许运行」即可
  • 别聊着聊着直接关终端——你的对话就存在那个终端窗口里,开新窗口就是新对话了

下一步可以玩什么

跑通之后,可以再装 Open WebUI,给本地模型套一个干净的网页版聊天界面——那是下一课的事。今天这一课先到这里:现在你拥有了一个完完全全住在自己电脑里的 AI。不联网、不花钱、不上传——把 Wi-Fi 拔掉,它照样是你的私人 AI。

官方入口(谨防钓鱼网站)

搜索结果里经常混有仿冒和钓鱼网站,请只通过以下官方网址访问正版工具。

AI 聊天与助手

开源与本地 AI

Ad · Google AdSense placeholder — paste your ad code here