本地部署通义千问大模型

发布于 作者:

​

 前言：

最近突然想自己写本职场的小说，也码了两万来字，但自己文学素养一般，突然想何不借助于现在火的一些大模型呢，于是说干就干，先弄个阿里开源的通义千问大模型试试。

一、通义千问大模型的介绍：

**通义千问-7B（Qwen-7B）**是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。

二、要求：

  • python 3.8及以上版本
  • pytorch 1.12及以上版本，推荐2.0及以上版本
  • 建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）
  • python 3.8 and above
  • pytorch 1.12 and above, 2.0 and above are recommended
  • CUDA 11.4 and above are recommended (this is for GPU users, flash-attention users, etc.

三、Python环境的部署

        1.  下载anaconda

下载最新的版本即可。https://repo.anaconda.com/archive/

​编辑

        2.  手工把anaconda3的目录添加到path中。默认在%USERPROFILE%anaconda3 这个目下。

​编辑

        3. 创建python虚拟环境

在开始菜单里面找到 Anaconda Powershell Prompt ，如果直接打开cmd，会提示找不到conda命令。

​编辑

conda init
conda.exe   create -n qwen python=3.11

          4. 激活环境并安装依赖文件

conda activate qwen
cd Qwen-7B
pip install -r requirement.txt
pip install -r  requirements_web_demo.txt

pip下载很慢就需要更改下载的源到国内的。在%USEPROFILE%/.pip  目录下建立全局的pip.conf 配置文件

[global]
index-url=http://mirrors.cloud.aliyuncs.com/pypi/simple/

[install]
trusted-host=mirrors.cloud.aliyuncs.com

        5. 下载pytorch

默认已经下好了所有的nvida驱动以及cuad。下载地址：Start Locally | PyTorch  。选择自己合适的版本和操作系统。

​编辑  

四、下载源代码和模型所需文件

 1.  git下载Qwen的源码

直接在github官网上下载，不知道这今天网络抽风还是怎么，github上下载也很快木有出现打不开的问题，如果下载不了就到kgithub.com上下载，与github的差异就是多一个字母k

git clone https://github.com/QwenLM/Qwen-7B.git

2.  通过modelsope站点下载大模型所需文件：

huggingface站点速度太慢了，modelscope速度挺快的。

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

3. 修改web_demon.py 中DEFAULT_CKPT_PATH 位置

根据实际修改该值为你下载的Qwen-7B-Chat文件夹的目录即可。

五、运行demo

使用python  web_demo.py 即可运行大模型页面来做测试。

​编辑 访问这个地址就可以使用本机通义千问模型，如果需要其他机器也可以访问，修改web_demo.py 文件中ip地址为本机实际ip就可以。

​编辑 ​