wxhbest-CSDN博客

原创 1.3. 进阶关卡 - 第 4 关 InternVL 多模态模型部署微调实践

BLIP-2（Bootstrapped Language-Image Pretraining）采用了一种名为 Q-Former（Query-Transformer）的中间模块，作为视觉模态和语言模态的桥梁。多模态大模型的工作原理通常涉及到复杂的网络结构和训练策略，目的是充分利用不同模态中的互补信息，以提高模型的性能和泛化能力。多模态大模型是指能够处理和理解多种类型数据（如文本、图像、声音等）的人工智能模型。这些模型的目的是整合不同模态的信息，实现跨模态的理解与生成，以获得更丰富的理解和更好的性能。

2024-12-19 03:13:04 744

原创 1.3. 进阶关卡 - 第 3 关 LMDeploy 量化部署进阶实践

(24GB显存容量)开发机，创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。接下来复现一下LMDeploy之FastAPI与Function call的API开发，因为刚我们的API没关，可以继续。如果W4A16 量化+ KV cache+KV cache 量化也是可以的，执行下面的命令，完成课程任务。通过2.1 LMDeploy API部署InternLM2.5的实践为例，输入以下指令，启动API服务器。

2024-12-13 19:55:08 654

原创 1.3. 进阶关卡 - 第 2 关 Lagent：从零搭建你的 Multi-Agent

接下来，我们在插件选择中选择ArxivSearch，再次进行查询。发现已经可以进行查看了。可以看到，Multi-Agents博客写作系统正在按照下面的3步骤，生成、批评和完善内容。如果我们再次询问，让其搜索文献，可以看到，模型具备了根据任务情况调用不同工具的能力。：负责审阅生成的内容，指出不足，推荐合适的文献，使文章更加完善。（没有账号的要先注册），创建一个项目，获取API TOKEN；，选择新增的插件，可以看到模型无法知道现在的实时天气情况。)，展示如何协调不同的智能代理完成内容生成和优化的任务。

2024-12-12 18:21:40 889

原创 1.2. 基础关卡 - 第 6 关 OpenCompass 评测书生大模型实践

前面评测了 API 模型和本地模型, 现在将本地模型部署成 API 服务, 然后通过评测 API 服务的方式来评测本地模型. OpenCompass 通过其设计，不会真正区分开源模型和 API 模型。创建一个脚本：/root/opencompass/configs/models/hf_internlm/hf_internlm2_5_1_8b_chat_api.py。接下来以评测 InternLM2-Chat-1.8B 在 C-Eval 数据集上的性能为例，评测本地模型。

2024-12-08 02:23:56 696

原创 1.2. 基础关卡 - 第 5 关 XTuner 微调个人小助手认知

权重转换：模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件，那么我们可以通过以下命令来实现一键转换。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。在模型合并完成后，我们就可以看到最终的模型和原模型文件夹非常相似，包括了分词器、权重文件、配置信息等等。脚本来观察微调后的对话效果，不过在运行之前，我们需要将脚本中的模型路径修改为微调后的模型的路径。

2024-12-04 21:16:44 727

原创 1.2. 基础关卡 - 第 4 关 InternLM + LlamaIndex RAG 实践

基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。我把大致的思路说一下，其实很简单，等于是在本地同步一个仓库，在本地将【浦语API】的python文件编辑后，通过git add .命令新增文件，然后通过git commit -m命令将文件同步上传至Hugging Face。

2024-12-03 01:24:41 1527

原创 1.2. 基础关卡 - 第 3 关浦语提示词工程实践

对比之后，可以看到，加了提示词的指导之后，给出的公文明显对宽带费用申请的必要性、能够带来什么效益等角度进行了更加细致的撰写，综上可以得出结论，加了提示词的LLM表现出了比baseline更高的性能。将不使用系统提示的书生浦语大模型作为 baseline 对比，提交的系统提示词要指导LLM表现出比baseline更高的性能，提供对比截图并加以分析说明即可。任选下面其中1个任务基于LangGPT格式编写提示词 (

2024-11-28 22:58:55 314

原创 1.1. 入门关卡 - 第 4 关玩转「HF/魔搭/魔乐」平台

当然，这只是一个配置文件，并没有没有完全下载internlm2_5-7b-chat模型，因为空间有限，这里下载一个internlm2_5-1_8B模型作为demo运行，方法和前面是一样的。通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。注意，如果git push 报错，可能是第一次上传时需要验证，请使用以下命令，注意替换<>里面的内容，然后再次git push一下就可以了。

2024-11-28 02:38:41 1608

原创 1.2. 基础关卡 - 第２关玩转书生「多模态对话」和「AI搜索」产品

（2） 2024 年诺贝尔物理学奖为何会颁发给人工智能领域的科学家 Geoffrey E. Hinton，这一举动对这两个领域的从业人员会有什么影响？请以 MindSearch 的回复作为参考 (推荐) 或者直接粘贴 MindSearch 的回复内容在知乎上回答 3 个问题的任意一个。选择逻代码编程、文章创作、灵感创意、角色扮演、语言翻译、逻辑推理以上任意一个场景或者你自己感兴趣的话题与浦语进行对话 (轮次不限)。（3）、最近大火的中国 3A 大作《黑神话·悟空》里有什么让你难忘的精彩故事情节？

2024-11-27 23:53:33 652

原创 1.2. 基础关卡 - 第 1 关书生大模型全链路开源体系

在过去，许多人工智能技术由于知识产权、商业机密等原因，往往处于封闭状态，这不仅限制了技术的传播与应用，也阻碍了人工智能技术的快速发展。书生大模型全链路开源开放体系的推出，打破了这一壁垒，使得全球人工智能研究者可以共享研究成果，相互借鉴，共同推动人工智能技术的发展。通过开放共享，更多的人可以接触到最前沿的人工智能技术，激发创新思维，推动人工智能技术在各个领域的应用。书生大模型全链路开源开放体系是上海人工智能实验室推出的一项重要举措，旨在推动人工智能技术的开放与共享，促进全球人工智能社区的协作与创新。

2024-11-27 22:53:19 228

原创 1.1. 入门关卡 - 第 3 关 Git 前置基础

命名格式为<id>.md，其中<id>是您的报名问卷UID。文件路径应为./icamp4/。【大家可以叫我】内容可以是 GitHub 昵称、微信昵称或其他网名。在 GitHub 上创建一个 Pull Request，提供对应的 PR 链接。开始解题：根据题意打开URL，找到class分支点击进入icamp4子文件夹点击添加文件，创建新文件发现有一个报错，提示需要 fork 此存储库才能提出更改。需要复刻它并从那里提出更改。之前忘记截图了，补一张吧，很简单，就点一下fork就行了。

2024-11-16 20:03:27 781

原创 1.1. 入门关卡 - 第 2 关 Python 基础知识

可以看到，在返回的JSON中，有些值表示不规范，比如：```json、或者是【提供的参数版本】这个key，没有引号的包围。所以我准备使用正则表达式来查找、替换、规范这些字符串（一开始我想写死的，后来发现没有通用性，例如一旦1.8B变成2.5B就不可用了），并且去除多余的引号和换行符使得从 API 获取的包含数组标记的 JSON 字符串能够被清理并正确解析为 Python 对象，以便程序正确运行并输出结果。按照提示，按照提示，有两种解决方案，一种是卸载刚才安装的numpy，然后安装版本约等于1.0的版本；

2024-11-16 16:38:24 1808

原创 1.1. 入门关卡 - 第 1 关 Linux 前置基础

解答：解答：touchmkdircdpwdcatmorelessvivimcplnmvrmrmdirrm -rfindlsls -lsed。

2024-11-15 22:23:10 249 1

wxhbest的博客