1.准备

GPU卡，比如5070Ti

2.下载Ollama

官网下载：
https://ollama.com/download
在这里插入图片描述

3.安装Ollama

在这里插入图片描述

4.下载QWEN大语言模型

在这里插入图片描述

同理下载deepseek R：
在这里插入图片描述

5.使用本地QWEN大模型进行推理在这里插入图片描述

在这里插入图片描述

GPU资源使用情况：
在这里插入图片描述

# 语言模型 # 人工智能 # 自然语言处理
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

一文讲透2026年具身智能技术栈：VLM、VLA、VLN、世界模型

avatar DAMO开发者矩阵
cover

一文梳理 RT-2 到 π0.7：通用机器人策略的技术演进

avatar DAMO开发者矩阵
cover

自动化工程师：2026年，这个职业会更“吃香”吗？

avatar DAMO开发者矩阵