Llama3-Tutorial之XTuner微调Llama3图片理解多模态

原创 已于 2024-05-29 18:23:03 修改 · 722 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#后端

于 2024-05-07 16:32:45 首次发布

Llama3-Tutorial之XTuner微调Llama3图片理解多模态

基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。

参考：
https://github.com/SmartFlowAI/Llama3-Tutorial

1. 环境、模型、数据准备

1.1 配置环境

使用如下指令便可以安装好一个 python=3.10 pytorch=2.1.2+cu121 的基础环境。

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

接下来我们安装 XTuner。

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .[all]

如果已经配置好了环境，在这里也可以选择直接执行 conda activate llama3 以进入环境。

最后我们 clone 本教程仓库。

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

1.2 模型准备

1.2.1 准备 Llama3 权重

在微调开始前，我们首先来准备 Llama3-8B-Instruct 模型权重。

  • InternStudio

                

                
                
        

         

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                      
            

        


    



                



	

		

			

				
					
Llama 3 微调项目实践与教程（XTuner 版）

				
			

			

				

					强化学习曾小健
				

				

					04-20
					
					1626
					
				

			

		

		

			
				
到此为止我们就让 Llama3 具备了“他是由SmartFlowAI 打造的人工智能助手”的个人认知，本文演示平台为 InternStudio，如其他平台只需适当调整相关路径也能比较顺畅的运行起来，XTuner 玩转 Llama3 图片理解更多玩法请参考：https://github.com/SmartFlowAI/Llama3-XTuner-CN/ （欢迎 Star），同时本周天晚 8 点我们邀请了书生·浦语众多社区大佬一起来分享，欢迎预约直播一起讨论。或者软链接 InternStudio 中的模型。

			
		

	



                

            
              



	

		

			

				
					
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了 ！！ XTuner 微调 Llama3 图片理解多模态

				
			

			

				

					大模型与Agent智能体
				

				

					04-23
					
					272
					
				

			

		

		

			
				
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了！！XTuner 微调 Llama3 图片理解多模态LLaVA-Llama-3-8B 已由 XTuner 团队推出，相比于 LLaVA-1.5，能力全面提升！(欢迎 Star)(欢迎 Star)

			
		

	



              


  
              

                


	

		

			

				
					
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）

				
			

			

				

					2301_80052071的博客
				

				

					05-11
					
					2846
					
				

			

		

		

			
				
—““DeepSpeed将当前时刻，训练模型用不到的参数，缓存到CPU中，等到要用到了，再从CPU挪到GPU。但随之的代价就是，更为频繁的CPU，GPU交互，极大增加了训练推理的时间开销”，这个说法不完全准确。这是因为相比GPU，CPU的内存通常更加充裕，而且CPU处理这些数据时虽然速度较慢，但在训练深度学习模型时，这部分计算通常不是性能瓶颈。相反，ZeRO技术通过分片（sharding）的方式，在多个GPU之间分散存储这些参数和状态，同时可能利用CPU内存来存储那些当前不需要直接参与计算的数据。

			
		

	





	

		

			

				
					
Llama3微调教程：超简单，人人都可以打造属于自己的GPT！

				
			

			

				

					shadowcz007的博客
				

				

					04-27
					
					1452
					
				

			

		

		

			
				
随着Llama 3的发布，国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练，而Llama-2仅为2万亿。毋庸置疑，Llama 3目前是开源大模型中能力最强的！其跑分成绩已经赶上了GPT-4。然而，Llama的优势不仅限于此。作为开源大模型，每个人都可以对其进行定制，这意味着相比GPT，它具有更强的定制性和安全性。Llama可应用于针对B端企业的自然语言处理、机器翻...

			
		

	



		

			
		



	

		

			

				
					
『保姆级』大模型教程来了（从入门到实战）

				
			

			

				

					2301_76168381的博客
				

				

					04-01
					
					5548
					
				

			

		

		

			
				
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。

			
		

	





	

		

			

				
					
XTuner 微调 Llama3 图片理解多模态（InternStudio）

				
			

			

				

					
				

				

					05-12
					
					1213
					
				

			

		

		

			
				
本文参考。

			
		

	





	

		

			

				
					
第四课：【XTuner 微调个人小助手认知】笔记

				
			

			

				

					qq_44407313的博客
				

				

					04-19
					
					1068
					
				

			

		

		

			
				
q1:为什么要微调？A:目前现有模型都是基座模型，是为了一般性任务进行预训练，运用于实际特定领域效果不佳，需要进行领域内微调q2:两种Finetune范式：A2:增量预训练微调：基座模型学习新知识（文章、书籍、代码）指令跟随微调：模型学会对话模板，根据人类质量进行对话（高质量对话，问答数据）高质量标注原始数据——>改为标准格式数据——>添加对话模板——>Tokenized数据——>添加Label——>开始训练标准数据格式添加对话模板，不同厂家有不同的模板。

			
		

	





	

		

			

				
					
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率

				
			

			

				

					qq_39967751的博客
				

				

					04-26
					
					2757
					
				

			

		

		

			
				
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。

			
		

	





	

		

			

				
					
Llama 3 | 三.Llama 3 图片理解能力微调（[XTuner](https://github.com/internLM/xtuner)+LLaVA 版）

				
			

			

				

					m0_37634594的博客
				

				

					05-18
					
					486
					
				

			

		

		

			
				
问题2：What is the equipment in the image?问题1：Describe this image.30%的A100不够用，加上offload。训练报错，先安装deepspeed，重试。InternStudio软连接。

			
		

	





	

		

			

				
					
推荐一个图片识别的llama3微调版本 清华面壁项目

				
			

			

				

					robinfoxnan的专栏
				

				

					06-03
					
					1327
					
				

			

		

		

			
				
图文识别类的模型

			
		

	





	

		

			

				
					
使用Llama3增强高质量图像生成

				
			

			

				

					m0_59164304的博客
				

				

					06-21
					
					1万+
					
				

			

		

		

			
				
Llama 3是Meta推出的大型语言模型（LLM）。在特定条件下可以免费商用（每月最多7亿次请求）。Meta Llama 3的版本从8B到400B不等，超过了谷歌的Gemma/Gemini、Mistral和Claude 3 Sonnet等可比模型，能够在4GB GPU上高效运行。

			
		

	





	

		

			

				
					
AI大模型企业应用实战：Prompt让LLM理解知识

				
			

			

				

					2401_84204413的博客
				

				

					06-25
					
					2680
					
				

			

		

		

			
				
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

			
		

	





	

		

			

				
					
消费级 GPU 微调Llama 3 ：百万规模数据 (附数据&源码)

				
			

			

				

					m0_59235699的博客
				

				

					05-13
					
					1778
					
				

			

		

		

			
				
注意，如果您增加了GPU的数量，请更新num_processes现在让我们运行加速器命令来开始训练，

			
		

	





	

		

			

				
					
【实战教程】手把手教你微调热门大模型 Llama 3

				
			

			

				

					2401_85375186的博客
				

				

					08-15
					
					2217
					
				

			

		

		

			
				
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。

			
		

	





	

		

			

				
					
微调llama 3 — PEFT微调和全量微调

				
			

			

				

					xiaoxiaoyu290的博客
				

				

					04-24
					
					1万+
					
				

			

		

		

			
				
高效微调llama3

			
		

	





	

		

			

				
					
使用llama3.2-vision进行图片信息识别

				
			

			

				

					冀辉的博客
				

				

					12-05
					
					1349
					
				

			

		

		

			
				
使用llama3.2大模型进行图片内容的提取取分析

			
		

	





	

		

			

				
					
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。

					
热门推荐

				
			

			

				

					失业求捞！
				

				

					05-17
					
					2万+
					
				

			

		

		

			
				
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!

			
		

	





	

		

			

				
					
llama3-8b中文指令微调

					
最新发布

				
			

			

				

					12-28
				

			

		

		

			
				
### Llama3-8B 模型中文指令微调的方法

#### 准备工作
为了对Llama3-8B模型进行有效的中文指令微调，需准备合适的环境和资源。确保安装了必要的依赖库并配置好硬件设备，如GPU支持CUDA运算。

#### 数据集构建
创建高质量的双语平行语料作为训练数据至关重要。这些数据应覆盖广泛的主题领域，并且每条记录都由一对对应的中文命令及其预期响应组成。良好的数据质量有助于提升最终模型的表现[^2]。

#### 微调过程
采用开源项目LLaMA-Factory提供的工具链可以简化这一流程：

1. 下载预训练的基础版本`Llama3-8B-Instruct`权重文件；
2. 利用Python脚本加载上述参数初始化新的Transformer架构实例；
3. 将自定义的数据集转换成适合输入给定框架的形式；
4. 调整超参设置（学习率、批次大小等），启动finetune阶段的学习迭代；
5. 定期保存checkpoint以便后续评估性能改进情况；

```bash
# 设置可见GPU ID及API端口号
export CUDA_VISIBLE_DEVICES=0
export API_PORT=8000

# 启动基于Web界面交互式的聊天服务用于测试调整后的效果
llamafactory-cli webchat \
    --model_name_or_path ./path_to_finetuned_model/ \
    --template llama3 \
    --infer_backend vllm \
    --vllm_enforce_eager
```

通过以上步骤完成初步定制化之后，还可以进一步探索其他优化策略比如混合精度训练加速收敛速度或是引入更多样化的正则项防止过拟合等问题的发生[^3]。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
lldhsds

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值