本地部署通义千问大模型
前言:
最近突然想自己写本职场的小说,也码了两万来字,但自己文学素养一般,突然想何不借助于现在火的一些大模型呢,于是说干就干,先弄个阿里开源的通义千问大模型试试。
一、通义千问大模型的介绍:
**通义千问-7B(Qwen-7B)**是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。
二、要求:
- python 3.8及以上版本
- pytorch 1.12及以上版本,推荐2.0及以上版本
- 建议使用CUDA 11.4及以上(GPU用户、flash-attention用户等需考虑此选项)
- python 3.8 and above
- pytorch 1.12 and above, 2.0 and above are recommended
- CUDA 11.4 and above are recommended (this is for GPU users, flash-attention users, etc.
三、Python环境的部署
1. 下载anaconda
下载最新的版本即可。
2. 手工把anaconda3的目录添加到path中。默认在%USERPROFILE%anaconda3 这个目下。
3. 创建python虚拟环境
在开始菜单里面找到 Anaconda Powershell Prompt ,如果直接打开cmd,会提示找不到conda命令。
4. 激活环境并安装依赖文件
pip下载很慢就需要更改下载的源到国内的。在%USEPROFILE%/.pip 目录下建立全局的pip.conf 配置文件
5. 下载pytorch
默认已经下好了所有的nvida驱动以及cuad。下载地址:
。选择自己合适的版本和操作系统。
四、下载源代码和模型所需文件
1. git下载Qwen的源码
直接在github官网上下载,不知道这今天网络抽风还是怎么,github上下载也很快木有出现打不开的问题,如果下载不了就到kgithub.com上下载,与github的差异就是多一个字母k
2. 通过modelsope站点下载大模型所需文件:
huggingface站点速度太慢了,modelscope速度挺快的。
3. 修改web_demon.py 中DEFAULT_CKPT_PATH 位置
根据实际修改该值为你下载的Qwen-7B-Chat文件夹的目录即可。
五、运行demo
使用python web_demo.py 即可运行大模型页面来做测试。
访问这个地址就可以使用本机通义千问模型,如果需要其他机器也可以访问,修改web_demo.py 文件中ip地址为本机实际ip就可以。