- 博客(23)
- 收藏
- 关注
RSS订阅原创 书生浦语第四期OpenCompass
安装好必需的依赖：配置好依赖之后，我们就需要模型来进行评测；这里我们选用的是internLM模型，使用反式是利用API来进行。首先我们要获取模型对应的API_Key，我们要先进入按照图中来操作就可以获取到API_Key；之后就可以在终端输入代码，来设置你的API_Key，之后再利用下面一行来检测是否设置好了。配置模型文件对应的模型文件代码配置好模型文件之后，来配置数据集文件对应数据集文件的代码之后就可以在终端运行文件在运行文件的时候可能会报错，
2025-01-09 15:18:52
329
原创 书生浦语第四期XTuner微调
同时可以通过代码来检测生成的数据文件是否正确，这是检测前三行的数据。脚本来观察微调后的对话效果，要修改模型的路径。生成好之后在finetune下的数据文件。配置好对应的参数文件之后就可以开始微调了。最后的"***"填写你ssh连接的端口号。复制官方的参数文件并修改对应的参数文件。修改参数文件中的模型地址和参数文件地址。首先创建一个数据文件夹存储微调数据。修改之后运行脚本文件生成微调数据。结束之后保存微调之后的权重文件。创建之后准备脚本文件生成数据。3.准备需要修改的数据文件。模型在webUI对话。
2025-01-08 10:00:00
192
原创 书生浦语第四期llama_index
下载好模型之后，我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库nltk的一些资源。1.大模型对于自己不知道的知识，会生成和现实完全不符的回答，这种现象被称为幻觉；所以面对上面大模型存在的问题，通常的解决办法是RAG(检索增强生成)和微调。对于大模型而言，RAG不会更新其中的权重，而微调是会更新大模型的权重的。之后我们运行这个python文件，得到的效果显示模型不包含这部分的知识。2.对于每次更新大模型的新知识的引入和训练，需要大量的资源和时间；对于当前的大模型的应用而言，存在哪些问题？
2025-01-06 16:00:13
409
原创 书生浦语第四期提示词工程
1.描述清晰；2.角色扮演，角色扮演在不同的模型中效果可能不明显，需要批判的去使用。3.提供示例，当我们的任务是和仿写句子等相关的时，可以提供示例来提升生成的质量。4.复杂任务的分解：思维链CoT，CoT的核心思想是让大模型一步步思考，通常使用思维链是在提示词之中加上“请一步步思考”或者“给出你的推理过程”。将复杂任务分解为简单任务，与之相同的是工作流，手动设置分解为简单任务。5.使用格式符区分语义，推荐使用markdown语法。6.给出情感和物质激励。7.使用更专业的术语。
2025-01-05 17:50:49
312
原创 书生浦语第四期开源体系
作为一个简单的了解和使用可以用1.8B的模型，而在日常使用的过程中7B效果不错，通过20B可以明显的体验出模型的涌现能力。在视觉方面的模型是InternLM-XComposer灵笔， 在数学方面的模型是InternLM-Math， 在一些科研方面的模型是InternLM-WQX。数据方面：书生万卷，开源了很多的子领域的语料库，可以去书生万卷的官网去下载；微调：XTuner支持多种微调算法，同时数据方面做到了格式的统一，方便微调。微调方面：XTuner日常进行微调，支持多种微调和对齐算法；
2025-01-04 16:58:16
276
原创 书生浦语第四期L0HF任务
复制得到的Access Tokens，在codespaces中设置huggingface的Access Tokens。下载InternLM_7b的config.json和model.safetensors.index.json。之后根据自己的需求选择token type，这里选择的Write权限。将其中的user_name、token和repo_path更改即可。遇到这种错误是因为在HF中设置Access Tokens。在HF界面点击右上角选择Access Tokens。git 提交到远程仓库。
2024-11-07 02:38:53
338
原创 书生浦语第四期L0Git任务
之后就可以在InternLM/Tutorial看到Pull Requests。将仓库clone到Intern studio上。
2024-11-06 20:43:21
190
原创 书生浦语第四期L0python任务
通过调试发现是json的格式出现错误，最后使用上面的代码进行json格式修正成功运行。在运行示例代码之后出现的报错，
2024-11-04 16:49:25
295
原创 书生浦语第四期L0linux任务
(symbolic link)，硬链接的意思是一个档案可以有多个名称，而软链接的方式则是产生一个特殊的档案，该档案的内容是指向另一个档案的位置。硬链接是存在同一个文件系统中，而软链接却可以跨越不同的文件系统。在配置SSH密钥的时候，使用Windows PowerShell来进行操作。SSH连接，配置SSH密钥进行SSH远程连接；之后一直回车就好，这里的密钥默认情况下是生成在。touch 可以使用touch快速的创建文件，表示的是家目录，如果是windows就是。新建或者打开名为test.txt的文件。
2024-11-04 01:32:22
358
原创 task_03扣子工作流
工作流，起源于生产组织和办公自动化领域，是指在计算机应用环境下，对业务过程的部分或整体进行自动化处理。它通过将复杂的任务分解成定义良好的任务或角色（节点），并按照一定的规则和过程来执行这些步骤中的任务，从而降低系统复杂度，减少对提示词技术和模型推理能力的依赖，提高 LLM 应用在复杂任务中的性能，提升系统的可解释性、稳定性和容错性。
2024-10-19 18:03:08
3194
1
原创 书生浦语训练营第三期--OpenCompass评测
进入configs文件夹来引入所需的数据集和模型配置，并以所需要的格式组成datasets和models字段，通过上面代码在configs文件夹下创建eval_tutorial_demo.py，在其中继承数据集合模型配置。opencompass文件夹下configs/models/hf_internlm/的hf_internlm2_chat1_8b.py中写入以下代码。配置：需要配置整个评估过程，选择与模型相应的数据集、评估策略和计算后端等，最后定义显示结果的方式；配置好之后，就可以进行评测了。
2024-08-22 02:35:18
257
原创 书生浦语训练营第三期--XTuner微调
要通过指令跟随微调，来让模型输出我们想要的效果，对于微调而言，最初要构造合适的数据集，因为想要让模型能得到合适的认知，所以在数据集中要大量加入这样的数据。进入微调目录下，启动微调，微调之后，要先保存最后一个pth文件，之后要进行模型格式转换将pytorch权重文件转换为通用的HuggingFace格式文件。选用好合适的匹配文件之后，就是对配置文件进行修改，将模型的路径和数据集的路径修改为我们的路径等。full和qlora是指微调的算法，full是指全量微调，qlora是指量化的lora。
2024-08-22 01:56:19
793
原创 书生浦语训练营第三期--llamaindex-RAG
下载好模型之后，我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库nltk的一些资源。基于RAG的原理，我们是将知识转化为向量来存入知识库的，所以我们来安装llamaindex所需要的依赖。1.大模型对于自己不知道的知识，会生成和现实完全不符的回答，这种现象被称为幻觉；对于大模型而言，RAG不会更新其中的权重，而微调是会更新大模型的权重的。2.对于每次更新大模型的新知识的引入和训练，需要大量的资源和时间；构建好我们需要的开源词向量之后，我们需要将运行的大模型软连接出来。
2024-08-19 20:10:16
271
原创 书生浦语实战营第三期
安装好之后，我们运行如下代码使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号。第五步利用LMDeploy来部署 InternLM-XComposer2-VL-1.8B 模型。第四步在web_demo中部署 InternLM2-Chat-1.8B 模型。首先激活环境和安装依赖。
2024-08-14 04:13:24
665
原创 书生浦语大模型实战营
对于第三点基于反馈地数据生成中重点是数据的标注，现在OpenDataLab中开源了LabLLM可以利用这个工具来进行数据的标注（可以在NLP任务中使用）。书生浦语开源全链条：书生万卷、InternEvo、XTuner、LMDeploy、OpenCompass、应用demo。在大语言模型的发展过程中核心的思想是对数据质量不断地提升和利用辅助标注来得到对齐数据来迭代大语言模型。应用demo--MinerU（高效文档解析工具）、MindSearch（搜索应用）部署--LMDeploy：支持的开源大模型更多。
2024-08-13 02:30:54
368
原创 书生浦语第三期python任务
2.利用设置好的规则来移除文本中的所有标点符号，并将每个单词转换成小写。3.利用split函数来对字符串进行分割最终得到最后的列表。1.进行str.maketrans来创建一个翻译表。python实现wordcount，运行结果。在开发机中debugwordcount函数。5.遍历整个列表最后得到整体的单词的统计。4.创建字典来用来存储最后的结果。调试wordcount函数。
2024-08-10 23:48:06
217
原创 书生浦语实战营 第2节课 《轻松分钟玩转书生.浦语大模型趣味Demo》
将其中的web_demo.py的文件中29行和33行的模型路径更换为本地的/root/model/Shanghai_AI_Laboratory/internlm-chat-7b。包，下载 InternLM-20B 的 config.json 文件到本地（需截图下载过程）。熟悉 hugging face 下载功能，使用 huggingface_hub。当以上的包和环境配置好之后，就可以开始进行模型的下载了。2.打开InternStudio的开发机。配置好环境之后，安装所需要的包。
2024-06-11 14:16:36
414
原创 书生浦语大模型实战营
这里要考察业务本身是否需要跟环境进行交互，如果这个业务是需要与环境进行交互的，比如需要调用外部API，或者与已有的数据库进行交互，那么就需要构建一个智能体（Agent），完成相关业务。如果算力足够，可能就需要进行模型的续训，或者全参数的微调，当然，这个花的钱就比较多。如果不是足够复杂，可以直接使用该模型，加上Prompt工程，就可以实现相关的业务；XTuner可以适合不同的生态，支持不同的算法，支持不同的开原生态、不同的加速方式和Nvidia的各级显卡。关注不同维度的能力，特别是专业上的能力。
2024-06-09 15:42:15
879
原创 Llama3-Tutorial
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。只有运行lmdeploy chat /root/autodl-tmp/baicai003/Llama3-Chinese-instruct-DPO-beta0.5。(你下载模型的路径)/model/Meta-Llama-3-8B-Instruct。
2024-05-18 19:07:07
749
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人