跳到正文

游民营地

主题: AI 学习

5分钟教会你本地部署DeepSeek R1 AI大模型【干货必看】

从安装 Ollama、下载与运行 DeepSeek-R1,到接入 Cherry Studio、Page Assist 和 Docker,带你跑通本地模型,并讲清模型选择、后台管理与 GPU 加速的区别。

作者 一只游民Developer and YouTuber

发布于 更新于 约 2 分钟读完

DeepSeek 动不动就提示“服务器繁忙”,想问个问题还得碰运气?来,咱们把模型搬回自己的电脑:安装 Ollama、下载模型、启动聊天,再接一个顺手的客户端。服务跑在本机,至少不用跟别人抢同一条排队通道了。

我用 DeepSeek-R1 14B 走一遍完整流程,随后再讲社区改造模型、后台管理和 Docker 部署。先提醒一句:安装命令很短,模型下载和生成速度可不会因为标题里写了“5 分钟”就突然加速。

1. 安装 Ollama:先把运行环境准备好

Ollama 负责下载、加载和运行模型,Cherry Studio 等客户端则负责提供聊天界面。两者不是替代关系:只装客户端,没有启动本地服务,模型照样没法回答。

准备项用途
Ollama 官方安装包安装模型运行服务和命令行工具
足够的磁盘空间保存模型文件,下载前查看所选标签的大小
能访问模型库的网络首次下载模型;下载完成后的本地推理不依赖在线聊天服务
终端或命令行下载、运行和管理模型

在下载页选择自己的系统。Mac 安装时,把 Ollama 应用拖入“应用程序”,然后打开;初次安装按提示完成命令行配置。确认服务启动后,在终端检查:

ollama --version

能看到版本号,说明命令行工具已经可用。若提示找不到命令,先完成安装或重新打开终端,不用急着反复下载模型。

2. 拉取 DeepSeek-R1:模型不是越大越适合

到 DeepSeek-R1 模型页选择标签。我这里使用的是 14B 蒸馏版本,不是把完整大模型原封不动塞进笔记本。

ollama pull deepseek-r1:14b

终端会显示下载进度和文件大小,完成后出现 success。我的这次 14B 下载约为 9 GB;这个数字是该分发文件的大小,不能直接当成运行所需内存。

选择模型时,先看三个条件:

  • 参数规模与任务:先用机器能承受的标签跑通流程,再考虑更大的模型;参数多不保证每一道题都答得更好。
  • 量化与实际文件大小:相同参数规模可以有不同分发格式,别拿 FP16 的理论权重大小当所有标签的硬件门槛。
  • 上下文和运行占用:上下文越长、并发越多,额外内存占用可能越高。运行后看实际 CPU、GPU 和内存,而不是只看模型名字。

下载失败先检查标签是否存在、网络和剩余磁盘空间。模型列表及文件大小会更新,以当前模型页为准。

3. 运行模型:先在终端聊上两句

ollama run deepseek-r1:14b

进入交互界面后,输入一个简单问题,比如“你能做什么?”。能收到完整回复,才算本地推理链路跑通。run 在模型尚未下载时也会先下载再运行;把下载和运行拆开,只是更容易看清分别卡在哪一步。

首次加载通常比后续请求慢。若长时间没有输出,观察资源占用,再用较短问题或更小模型排查,不要把“终端没报错”等同于“机器跑得动”。

4. 接入客户端:聊天终于不用一直盯着终端

Cherry Studio 桌面客户端

我常用 Cherry Studio,一个界面就能管理不同提供方的模型。安装后按以下顺序接入:

  1. 保持 Ollama 服务运行,打开 Cherry Studio 左下角的设置。
  2. 在模型提供方中选择 Ollama,核对本机服务地址;默认本地地址是 http://localhost:11434。
  3. 点击模型管理,从检测到的模型里添加 deepseek-r1:14b。
  4. 回到聊天界面,选择刚添加的模型,发送简单问题验证。

如果管理页没有模型,先运行 ollama list 确认文件已下载,再检查服务地址。模型下载成功、客户端添加成功、对话返回成功,是三个不同环节。

Page Assist 浏览器扩展

更喜欢浏览器界面的,可以从 Page Assist 项目页进入对应扩展商店安装。打开扩展的聊天界面,核对 Ollama 连接地址,从模型列表选择本地模型,再发送测试问题。

这两种方式都不需要为了本机聊天把 11434 端口开放到公网。安装扩展前看清权限;接了本地模型,也不代表扩展的搜索、同步等其他功能都离线。

5. 社区改造模型:来源与效果要分开看

社区中有使用 abliteration 等方法调整拒答行为的模型,例如 huihui_ai 的 DeepSeek-R1 改造版。它与原始 DeepSeek-R1 标签不是同一份权重,选择前先看发布者、说明、许可和实际标签。

下载和启动仍沿用相同操作,例如该页面提供的 14B 标签:

ollama run huihui_ai/deepseek-r1-abliterated:14b

下载完成后,回到 Cherry Studio 的 Ollama 模型管理,把新模型添加到列表,再在对话中切换。没有切换模型,就仍是在问之前那个版本。

我试过它能回答原先被拒答的一些问题,但拒答少不等于回答准确,也不等于没有偏见。更不能由此推断在线服务的全部审核都只发生在输出端。评估改造模型时,把响应行为、事实质量和安全风险分开比较。

6. 常用指令:关掉聊天窗口,不等于卸载模型

Ollama 服务、终端聊天会话和已加载模型是不同的东西。退出终端后,桌面客户端仍可能继续请求服务;模型是否留在内存中,还与保活设置和正在进行的请求有关。

指令用途
ollama list查看本机已下载的模型
ollama ps查看当前加载的模型
ollama stop deepseek-r1:14b停止指定模型、释放其运行占用;不删除文件
ollama rm deepseek-r1:14b删除指定模型的本地文件,执行前确认不再需要
ollama --help查看当前版本支持的指令

想确认模型已经停止,执行 stop 后再看 ps;想保留模型下次继续用,就别把 rm 当成“关闭”按钮。

7. Docker 部署:持久化模型,也要看 GPU 支持

需要容器化时,可使用 Ollama 官方镜像。下面是仅在本机访问的 CPU 示例;先停止占用同一端口的原生服务,避免端口冲突。

docker run -d \
  --name ollama \
  -v ollama:/root/.ollama \
  -p 127.0.0.1:11434:11434 \
  ollama/ollama

docker exec -it ollama ollama run deepseek-r1:14b

-v 把模型目录放在具名卷中,避免每次重建容器都重新下载;容器可写层与独立数据卷不是一回事,删除容器也不等于必然删除这个具名卷。若要复用已有模型目录,应确认目录结构和权限,再选择绑定挂载,不直接照抄别人的个人路径。

GPU 加速不能只靠加一个参数:NVIDIA 需要对应驱动和 Container Toolkit,AMD 等路径按官方设备支持配置。Mac 上原生 Ollama 的 Metal 加速与 Docker 里的 Linux 容器不是同一条路径。我在 Apple Silicon Mac 上使用原生 Ollama 时能利用 GPU,而这次 Docker 环境走的是 CPU,速度明显不适合日常聊天;Mac 用户可以先跑原生版本建立基线。

跑通之后,让模型真正派上用场

到这里,模型下载、终端聊天、客户端接入和后台管理就串起来了。先把一条本地链路跑稳,再加客户端或容器,出问题也更容易找到是哪一层没接上。

下一步可以给模型接入自己的资料,继续看DeepSeek 知识库搭建,或者试试让 Ollama 做日常翻译。你选了什么模型、用什么硬件、在哪一步遇到了问题?欢迎在评论区聊聊,附上版本和脱敏后的报错即可,别贴密钥或私有资料。感谢阅读,后面继续一起把本地模型用起来。

评论

评论由 GitHub Discussions 提供。发表评论、回复或添加反应需要使用 GitHub 登录。

正在加载评论服务…

沿着笔记间的引用继续阅读:看看谁提到了本篇,又能从本篇读到哪里。

沿着其他笔记来到这里,看看它们从何说起。

循着文中的引用,把相关的思路再展开一点。