LLaVA大模型安装配置与使用、单论对话和测试

一、下载

（1）下载llava

github：https://github.com/haotian-liu/LLaVA，按照官方的步骤准备好环境和包

• 克隆项目

git clone https://github.com/haotian-liu/LLaVA.git
cd LLaVA

• 安装包

conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip
# 可以用镜像加速一下
# pip install -e . -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com
pip install -e .

• （可选项）如果要训练的话可以运行这个，我没运行

pip install -e ".[train]"
pip install flash-attn --no-build-isolation

• （可选项）更新到最新版本

git pull
pip install -e .

（2）下载模型和视觉编码器

• 下载视觉编码器

新建一个文件夹（例如叫visual_encode）用来存储vit模型，到链接 https://huggingface.co/openai/clip-vit-large-patch14-336下载，可以按照Clone repository的说明进行下载，也可以逐个下载，放到clip-vit-large-patch14-336文件夹下

• 下载llava模型

新建一个文件夹（默认叫liuhaotian）用来存储llava模型，到链接下载，同样放到对应llava-v1.5-7b或llava-v1.5-13b文件夹下

https://huggingface.co/liuhaotian/llava-v1.5-13b

https://huggingface.co/liuhaotian/llava-v1.5-7b

• 调整config.json

此外，需要修改llava-v1.5-7b或llava-v1.5-13b目录下的config.json文件

# 将
"mm_vision_tower": "openai/clip-vit-large-patch14-336",
# 改为对应的本地视觉编码器模型路径，注意这个路径是相对于LLaVA文件夹的
"mm_vision_tower": "visual_encoder/clip-vit-large-patch14-336",

二、部署

启动三个终端，分别运行

• 终端1：启动控制器

python -m llava.serve.controller --host 0.0.0.0 --port 10000

• 终端2：启动网页

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

• 终端3：启动模型

# python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path {模型的地址}
python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path liuhaotian/llava-v1.5-7b

如果终端3如下显示，则部署成功

在浏览器打开下面任意链接，就可以进入到LLaVA对话界面

http://0.0.0.0:7861
http://localhost:7861

地址是从终端2中看出的