- 博客(17)
- 收藏
- 关注
RSS订阅原创 MindSearch 部署到Github Codespace 和 Hugging Face Space（学习笔记）
随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。在最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。现在codespace就是本地仓库，huggingface space是远程仓库，接下来使用方法就和常规的git一样了。
2024-09-01 22:40:46
1096
原创 茴香豆：企业级知识库问答工具（学习笔记）
在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。配置文件默认的模型和下载好的模型相同。茴香豆的架构中，除了利用 LLM 的功能判断问题相关性，也可以通过手动添加正例（希望模型回答的问题）和反例（希望模型拒答的问题）来调优知识助手的应答效果。修改完配置文件后，就可以进行知识库的搭建，本次教程选用的是茴香豆和 MMPose 的文档，利用茴香豆搭建一个茴香豆和 MMPose 的知识问答助手。格式文件的上传和删除。
2024-08-31 15:52:03
1039
原创 InternVL 微调实践闯关任务（学习笔记）
让我们一起修改XTuner下 InternVL的config，文件在： /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py。如果这里你执行的epoch不是6，是小一些的数字。之后我们使用lmdeploy自带的pipeline工具进行开箱即用的推理流程，首先我们新建一个文件/root/InternLM/code/test_lmdeploy.py。
2024-08-31 14:08:19
746
原创 LMDeploy 量化部署进阶实践（学习笔记）
本次实践选用InternVL2-26B进行演示，其实就根本来说作为一款VLM和上述的InternLM2.5在操作上并无本质区别，仅是多出了"图片输入"这一额外步骤，但作为量化部署进阶实践，选用InternVL2-26B目的是带领大家体验一下LMDeploy的量化部署可以做到何种程度。随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。
2024-08-30 12:09:35
1948
原创 Lagent 自定义你的 Agent 智能体（学习笔记）
首先，我们先来创建工具文件：/root/agent_camp3/lagent/actions/magicmaker.py。接下来，我们将使用 Lagent 的 Web Demo 来体验 InternLM2.5-7B-Chat 的智能体能力。首先，我们先使用 LMDeploy 部署 InternLM2.5-7B-Chat，并启动一个 API Server。然后，我们在另一个窗口中启动 Lagent 的 Web Demo。然后，我们再试一下“帮我搜索一下 MindSearch 论文”。
2024-08-26 22:33:50
1099
原创 Git 前置基础（学习笔记）
git clone https://github.com/conway2019/Tutorial # 修改为自己frok的仓库。git commit -m "add git_4376_introduction" # 提交信息记录。#在 github 页面将修改的内容 PR 到 Tutorial，按要求编写 title。
2024-08-24 10:01:15
308
原创 Python 前置基础（学习笔记）
实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。#记得先去掉标点符号,然后把每个单词转换成小写。不需要考虑特别多的标点符号，只需要考虑实例输入中存在的就可以。2. 在vscode中进行debug。
2024-08-22 23:00:12
172
原创 Linux 前置基础（学习笔记）
使用密码进行SSH远程连接，在InternStudio中，选择开发机，点击“SSL连接”可以获得开发机域名、端口和登录密码。echo "操作可以是 'export' 或 'restore'"# 导出环境到当前目录下的env_name.yml文件。# 从当前目录下的env_name.yml文件还原环境。echo "使用方法: $0 "echo "正在导出环境: $env_name"echo "正在还原环境: $env_name"echo "未知操作: $1"# 定义导出环境的函数。
2024-08-22 22:36:24
804
原创 OpenCompass 评测 InternLM-1.8B 实践（学习笔记）
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。#InternLM和ceval 相关的配置文件，列出所有跟 InternLM 及 C-Eval 相关的配置。#在/root/opencompass/configs文件夹下创建。# 注意：一定要先 cd /root。
2024-08-17 22:19:20
766
原创 Datawhale X 魔搭 AI夏令营”（ComfyUI）
是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。#“load”上传工作流脚本，“Queue Prompt”执行，以下使用了教程中的两个工作流脚本（kolors_example.json，kolors_with_lora_example.json），生成了图片。
2024-08-17 20:47:04
212
原创 XTuner微调个人小助手认知（学习笔记）
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。#模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件。# 创建一个目录，用来存放微调的所有资料，后续的所有操作都在该路径中进行。# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）# 先获取最后保存的一个pth文件。# 创建一个目录，用来存放源代码。
2024-08-17 15:31:28
1076
原创 llamaindex+Internlm2 RAG实践（学习笔记）
st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？#在/root/llamaindex_demo目录创建data目录，然后下载。#将创建的嵌入模型赋值给全局设置的embed_model属性，
2024-08-17 15:01:34
722
原创 LangGPT结构化提示词编写实践（学习笔记）
LangGPT 是一个编写高质量提示词的工具，理论基础是一套模块化、标准化的提示词编写方法论——结构化提示词。欢迎使用提示词生成器，请描述您希望AI帮助解决的具体问题或场景，以便我为您生成最合适的提示词。- description: 你是大模型提示词专家，名为 LangGPT，你擅长通过结构化的输入生成精确、高效的提示词，帮助用户与AI进行更深层次的交互。将以上结构化提示词，输入到“系统提示”中，“最大token长度”设置成1000，点击"保存设置"。3. 在设计提示词时，考虑到AI的理解能力和响应范围。
2024-08-16 13:03:50
2118
原创 8G 显存玩转书生大模型 Demo（学习笔记）
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。注意：个人电脑上的浏览器访问http://localhost:6006/，需要通过建立隧道，访问服务端的6006服务。启动 InternVL2-2B 模型的 Gradio 服务。激活环境并安装 LMDeploy 以及其他依赖。
2024-08-16 09:41:31
822
原创 大模型全链路开源开放体系（学习笔记）
目前国内一些大模型厂商提供了从数据、预训练、微调、部署、评测和应用，全链路的开源开放产品，为中国大模型的推广、普及和发展起着推动作用。开源InternLM2-WQX，这是一个200亿参数量的语言模型，在2024年高考中取得接近GPT-4o的成绩。开源书生·浦语灵笔（InternLM-XComposer），这是首个支持图文混合创作的大模型。发布InternLM2-Math，这是首个同时支持形式化数学语言及解题过程评价的开源模型。开源InternLM2-Math-Plus，刷新开源数学模型性能上限。
2024-08-15 08:43:41
573
原创 Datawhale X 魔搭 AI夏令营”
np.concatenate(images[6:8], axis=1), # 将第4组（images[6:8]）的两张图像在水平方向上拼接 ], axis=0) # 将四组拼接后的图像在垂直方向上拼接 image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素。image.save("image.jpg") # 输出最终生成的图像对象，用于显示图像。例如：命令行使用以下语句。
2024-08-14 17:43:44
412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人