前言

本文介绍一个可以快速搭建本地大语言模型的聊天服务，模型和代码已全部提供，不需要联网运行。项目使用的是Qwen-7B-Int4模型，只需要8G显存的显卡都能流畅运行，无论是Windows还是Linux系统都支持使用。

安装环境

1. 安装GPU版本的Pytorch。

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

2. 安装其他依赖库。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

启动服务

1. 执行server.py程序，启动大语言模型服务。

python server.py

Android应用

使用Android Studio打开源码中的AndroidClient目录，这是一个Android应用源码，打开之后首先就要修改服务t地址CHAT_HOST，将它修改为你上面使用的服务器IP地址，点击运行安装到Android手机上。

应用效果图：

扫码入知识星球，搜索【基于大语言模型的聊天应用】获取源码