- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 7、OpenCompass 大模型评测实战
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-04-23 10:48:43
857
原创 7、OpenCompass 大模型评测实战（homework）
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。列出所有跟 InternLM 及 C-Eval 相关的配置。
2024-04-23 10:08:02
525
原创 6、Lagent & AgentLego 智能体应用搭建（笔记）
可以感知环境中的动态条件。能采取动作影响环境。能运用推理能力理解信息、解决问题、产生推断、决定动作。
2024-04-19 14:47:58
661
原创 6、Lagent & AgentLego 智能体应用搭建（homework）
接下来修改 /root/AgentLego/agentlego/agentlego/tools/__init__.py 文件，将我们的工具注册在工具列表中。AgentLego 所实现的目标检测工具是基于 mmdet (MMDetection) 算法库中的 RTMDet-Large 模型，因此我们首先安装 mim，然后通过 mim 工具来安装 mmdet。由于 AgentLego 在安装时并不会安装某个特定工具的依赖，因此我们接下来准备安装目标检测工具运行时所需依赖。（大小写敏感）的方法新建工具文件。
2024-04-19 10:51:53
888
原创 4、XTuner 微调个人小助手（笔记）
两种Finetune范式LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等；指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据；LoRA。
2024-04-15 15:58:12
247
原创 5、LMDeploy 量化部署 LLM-VLM 实践
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理,高效的推理。
2024-04-10 17:17:30
1705
原创 5、LMDeploy 量化部署 LLM&VLM实战（homework）
由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy。
2024-04-10 16:49:47
782
原创 茴香豆：搭建你的 RAG 智能助理（笔记）
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
2024-04-08 09:51:48
605
原创 茴香豆：搭建你的 RAG 智能助理（homework）
向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。提取知识库特征，创建向量数据库。数据库向量化的过程应用到了。的相关模块，默认嵌入和重排序模型调用的网易。从本地使用 ssh 连接 studio 端口。相关的新增知识就以向量数据库的形式存储在。文件中指定本地模型路径，茴香豆将自动从。用已下载模型的路径替换。安装茴香豆运行所需依赖。
2024-04-08 09:33:38
726
原创 轻松玩转书生·浦语大模型趣味 Demo
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
2024-04-01 10:07:46
1303
原创 书生·浦语大模型全链路开源体系
书生·浦语大模型的全链路开源体系，重点在于通用人工智能的发展趋势，特别是从特定任务模型向通用大模型的转变，以及书生模型在7月、9月和1月的升级，包括支持多模态、8K语境和不同尺寸的模型，以及在语言建模能力、对话交互和智能体框架方面的提升。书生·浦语2.0升级，采用新一代的数据过滤技术；主要亮点；从模型到应用的典型流程；
2024-03-28 09:14:49
264
原创 Xtuner大模型低成本微调
LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式；1、增量预训练微调使用场景: 让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等2、指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据不同模型的对话模板均不相同；
2024-01-11 13:43:28
413
1
原创 基于 InternLM 和 LangChain 搭建你的知识库
LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用LangChain 的核心组成模块链 (Chains) : 将组件组合实现端到端应用，通过一个对象封装实现一系列LLM 操作Eq.检索问答链，覆盖实现了 RAG(检索增强生成)的全部流程。
2024-01-09 09:28:12
471
1
原创 MMSegmentation代码课
!rm -rf mmseg/datasets/__init__.py # 删除原有文件!!!!rm -rf configs/pspnet/pspnet_r50-d8_4xb2-40k_DubaiDataset.py # 删除原有文件!修改mmseg/datasets/DubaiDataset.py 中的classes，修改configs/pspn/pspnet_r50-d8_4xb2-40k_DubaiDataset.py 中的dataset_root 为数据存放地址；
2023-06-14 10:32:26
518
原创 MMDetection代码课
RTMDet其模型架构图如上所示。RTMDet 是一个高性能低延时的检测算法，目前已经实现了目标检测、实例分割和旋转框检测任务。为了获得更高效的模型架构，MMDetection 探索了一种具有骨干和 Neck 兼容容量的架构，由一个基本的构建块构成，其中包含大核深度卷积。MMDetection 进一步在动态标签分配中计算匹配成本时引入软标签，以提高准确性。
2023-06-09 09:23:27
353
1
原创 目标检测与MMDetection
目标检测：框出图片中的感兴趣的物体，识别出框的物品是什么类别； 目前研究方向，不仅识别训练中的目标分类，也可以识别出训练集中没有的分类； 框：矩形框交并比（IOU）： 检测问题的难点：需要解决是什么 在哪里，图中物体数量，位置，尺度变化多样；滑窗的效率问题： 改进思路：用卷积一次性计算所有特征，再取出对应位置的特征完成分类； 感受野：神经网络中，一个神经元能“看到”的原图的区域；感受野的中心感受野的步长(=降采样率=特称图尺寸的缩减倍数)。边界框回归： 非极大值抑制Non-Maximum Suppress
2023-06-08 09:54:53
309
原创 深度学习预训练与MMPretrain
MMPretrain 是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络，并支持了不同的预训练策略。MMPretrain 源自MMClassification和MMSelfSup，并开发了许多令人兴奋的新功能。目前，预训练阶段对于视觉识别至关重要，凭借丰富而强大的预训练模型，我们能够改进各种下游视觉任务。我们的代码库旨在成为一个易于使用和用户友好的代码库，并简化学术研究活动和工程任务。
2023-06-06 08:57:20
276
原创 MMPose代码教程
从下载并安装 Miniconda。创建并激活一个 conda 环境。基于安装 PyTorch。在 GPU 平台上：使用安装和。安装 MMDetection。方案 a：如果你开发并直接运行 mmdet，从源码安装它：# "-v" 指详细说明，或更多的输出# "-e" 表示在可编辑模式下安装项目，因此对代码所做的任何本地修改都会生效，从而无需重新安装。源码安装MMPOSE：cd mmpose# "-v" 表示输出更多安装相关的信息。
2023-06-05 08:59:13
622
1
原创 人体姿态估计（Human Pose Estimation）
人体姿态估计（Human Pose Estimation）是计算机视觉领域中的一个重要研究方向，也是计算机理解人类动作、行为必不可少的一步，人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点，目前被广泛应用于动作检测、虚拟现实、人机交互、视频监控等诸多领域。本次课程涵盖人体姿态估计的介绍与应用、2D 姿态估计、3D 姿态估计、DensePose、Body Mesh 以及 MMPose 等内容。
2023-06-02 08:57:33
8428
5
转载 最小二乘法
1.简单的例子 最小二乘现在大家都越来越重视自己的身体健康。现代人最常见的亚健康问题就是肥胖，本博主身体棒棒哒，唯一困扰本博主的健康问题就是超重。（好吧，承认自己是个死胖子就完了） 假设身高是变量X，体重是变量Y，我们都知道身高与体重有比较直接的关系。生活经验告诉我们：一般身高比较高的人，体重也会比较大。但是这只是我们直观的感受，只是很粗略的定性的分析。在数学世界里，我们大部分时候需要进行严...
2018-03-25 10:11:33
406
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人