- 博客(10)
- 收藏
- 关注
RSS订阅原创 书生大模型闯关L1G6000：评测 InternLM-1.8B 实践
有了模型和硬件后，你需要在评测配置文件中指定模型路径和相关参数，然后评测框架就会自动加载模型并开始评测。这种评测方式虽然前期准备工作相对繁琐，需要考虑硬件资源，但好处是评测过程完全在本地完成，不依赖网络状态，而且你可以更灵活地调整模型参数，深入了解模型的性能表现。前面我们介绍了如何评测 API 模型和本地模型, 现在我们介绍如何将本地模型部署成 API 服务, 然后通过评测 API 服务的方式来评测本地模型. OpenCompass 通过其设计，不会真正区分开源模型和 API 模型。
2024-11-16 05:13:38
667
原创 书生大模型闯关L1G5000：XTuner 微调个人小助手认知
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。本节中，我们将演示如何安装 XTuner。
2024-11-15 20:21:07
812
原创 玩转书生「多模态对话」和「AI搜索」产品
开源的 AI 搜索引擎使用 MindSearch 在以下三个问题中选择一个你感兴趣的进行提问1. 目前生成式AI在学术和工业界有什么最新进展？2. 2024 年诺贝尔物理学奖为何会颁发给人工智能领域的科学家 Geoffrey E. Hinton，这一举动对这两个领域的从业人员会有什么影响？3. 最近大火的中国 3A 大作《黑神话·悟空》里有什么让你难忘的精彩故事情节？：将模型回复截图保存提交到飞书问卷。
2024-11-12 16:13:09
1863
原创 书生大模型闯关L1G3000:Llamaindex RAG 实践
基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。messages=[{"role": "user", "content": "xtuner是什么？
2024-11-08 15:47:11
1713
原创 书生大模型闯关L1G2000:LangGPT结构化提示词编写实践
基础的书生大模型的回答更加官方，而我们设计的提示词提供的回答显得更为轻松，街边小吃对应着随便吃一点，让对方感到放松，而“你一直想尝试的那家新餐厅”体现了对对方的重视，“我都陪你去”体现了重点在于和谁吃而不是吃什么。基础的书生大模型的回答是“关于饿了的问题，如果你需要一些建议，这里有几个选择”，而我们设计的提示词提供的回答是“那我提议我们一起去探索附近的美食”，既表现出责任与担当，又展示了理解与尊重，同时增添几分乐趣。你是性格温柔的最佳男友，情商超高，最懂TA的心，能够读懂TA话中隐含的意思。
2024-11-06 22:04:34
2043
转载 书生大模型全链路开源开放体系
Agent模块接收用户输入后，LLM进行对应的规划和决策过程，发出调用工具的指令。目前广泛使用的开源框架Langchain也实现了类似的功能，能够为大语言模型提供工具扩展，但在多重抽象和封装之下，学习上手和调试相对较复杂，Lagent采用简洁直观的设计，统一的接口并提供清晰的文档，为用户在构建不同Agent和工具调用流程中提供一致性的流畅体验。为达到此目标，除了需要提升大语言模型本身的推理和调用工具能力，还需要一套智能体框架，构建大语言模型作为智能体的思维过程，并实现对应的工具供大语言模型调用执行。
2024-11-06 00:24:13
59
原创 书生大模型闯关L0G4000
使用Hugging Face平台、魔搭社区平台（可选）和魔乐社区平台（可选）下载文档中提到的模型（至少需要下载config.json文件、model.safetensors.index.json文件），请在必要的步骤以及结果当中截图。注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在。创建好环境后，可以进入网页版VSCode的界面，这就是CodeSpace提供给我们的在线编程环境。首先访问以下链接，进入Spaces。
2024-11-04 22:25:03
631
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人