MacBook Pro(M1芯片)DeepSeek R1 本地大模型环境搭建

这一阵子deepseek真的是太火了,这不,R1出来后更是掀起AI的狂欢,作为一个AI的外行人,也是忍不住想要拿过来感受一番~~

主要呢,是把最新的模型部署到我自己的Mac电脑上,这样更加方便快捷,主要需要使用的材料如下:

  • ollama
    简化LLM本地部署运行的开源框架
  • docker
    打包部署的容器引擎,可以把它当成虚拟机
  • open-webui
    一个前端服务项目,便于提供友好的交互UI

简单了解一下,下面我们进入正题。。。

1、安装Ollama

https://ollama.com

首先,进入Ollama的官网,点击下载

在这里插入图片描述

找到对应系统的版本,我这里使用的是Mac M1的版本,直接下载macOS对应的就可以了
在这里插入图片描述

下载完并安装对应版本后,在命令行中使用ollama -v检测下是否成功
在这里插入图片描述

有版本号信息输出,此时Ollama已经已经安装完毕了

在这里插入图片描述

状态栏顶部此时应该可以看到一只可爱的“草泥马”

2、下载模型到本地

回到刚刚Ollama的页面,进入“Models”

在这里插入图片描述

排在顶部的就是首屈一指的“deepseek-r1”
在这里插入图片描述

点到详情或者下方传送门

https://ollama.com/library/deepseek-r1

在这里插入图片描述

默认的刚好是 7b,这个应该是蒸馏版,适合个人日常使用,配置高的小伙伴可以酌情选8b、14b试试

ollama run deepseek-r1

执行上面这段命令会默认拉取 deepseek-r1 的 7b 模型,其他类型的也是直接复制对应剪贴板的命令即可,输入到终端后,系统开始拉取模型

在这里插入图片描述

拉取成功后,在>>>开头的交互式界面中发起对话就可以进行使用了,<think>标签里的内容代表的是模型的思考过程

3、丰富UI界面

如果觉得命令行过于单调和不好用,那么继续折腾一下

3.1、docker环境准备

https://www.docker.com/get-started/

来到Docker官网,下载对应版本的Docker应用作为本地服务的容器
在这里插入图片描述

Docker 安装比较简单,全部选接受和推荐下一步,完成
然后,需要登录账号,可以注册或者使用github账号登录,我直接使用的github账号

登录后,来到下面的主界面,此时docker也算装好了
在这里插入图片描述

命令行也正常,没有问题
在这里插入图片描述

3.2、部署open-webui

https://github.com/open-webui/open-webui

我们来到open-webui的github项目页面,找到Quick Start with Docker章节
此时我的Ollama已经运行着了,因此直接使用下面这个命令就可以了,如果有其他情况的可以参考其他的章节内容
在这里插入图片描述

直接在终端执行,这就用到docker命令了,大概就是在docker中部署一个镜像,并将镜像容器的 8080端口映射到本机的 3000端口,也就是说通过http://localhost:3000可以访问这个服务

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

接下来就是耐心等待

在这里插入图片描述

此时打开docker可以看到镜像容器里多出一个镜像,此时处于运行状态
在这里插入图片描述

我们点击跳转或者直接输入http://localhost:3000
在这里插入图片描述

另外,确保ollama的服务在跑模型(服务别关),此时可以看到下面的页面,点击“开始使用”
在这里插入图片描述

需要创建个账户,作为管理员账号
在这里插入图片描述

此时就可以进入啦
在这里插入图片描述

这个界面是不是要好看很多
在这里插入图片描述

强力助手get!
在这里插入图片描述

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐