实战搭建网易有道的QAnything(二) 正式下载安装
前言:
整个安装过程实际上就是在不停等待下载文件过程,还好需要的文件都是国内可以现在,还没有需要用到科学上网的,唯一的就是github下载QAnything 源码,又可能抽风访问不了,那么就到gitee或者其他镜像下载就好了。一、git下载QAnything
先下载源码,再下载模型 下载的模型核心的是就是models.zip 这个文件,这个文件大小在8G左右,如果git的版本太低,下载会报错,文件只有4G不到,那么就需要更新git到最新的版本,再重新下载即可。models.zip解压后是个models文件夹,这个文件夹要放到QAnything的根目录。这个models,就是我们说的RAG构架里的embedding模型,用来表征。二、下载通义千问的大语言模型
下载的文件需要放到QAnything/assets/custom_models 这个路径下 modelscope下载的速度还可以。三、wsl进入linux子系统,替换字符串
wsl进入自己的linux子系统,更改shell脚本的回车(在windows下创建编辑的shell脚本是dos格式的,而linux却是只能执行格式为unix格式的脚本),否则执行时会报,将回车符替换为空字符串。四、启动运行程序
整个过程会让你选择适用大模型的B数以及选择操作系统等过程,然后又是漫长的等待下载,主要是pull docker的镜像了。1. 启动过程报 Failed to build the front end.
这个问题我找了好久,开始还以为是要到境外下载一些包,网络不通,挂上VPN,科学上网,还是解决不了。最后在官方github上搜到了 按照文档的说法修改超时时间为1800,才解决此问题。 这里需要注意修改 scripts/run_for_local_opitons.sh 这个文件,最好是进入子系统,用vi命令来做修改了,直接用windows文件编辑器会导致报错。2. 启动 LLM 服务超时,自动检查
第一次启动没有报这个错误,但是使用bash close.sh 后再次启动就报这个错误了。一样也是github上找到解决方案 看到下面有人给出的解决方法是: 具体操作如下:1. 进入%USERPROFILE%目录下
2. 建立.wslconfig文件
3. 文件内容就是给wsl的内存大小,我是调整到了64GB
[wsl2] memory=64GB