- 博客(43)
- 收藏
- 关注
RSS订阅原创 InternLM + LlamaIndex RAG 实践 -- 书生大模型实训营第4期基础岛第四关
InternLM + LlamaIndex RAG 实践 -- 书生·浦语大模型实训营第4期
2024-11-29 00:57:35
949
原创 XTuner 微调个人小助手认知 -- 书生大模型实训营第4期基础岛第五关
书生·浦语 第四期大模型实战营 XTuner 微调实践微调 等你来挑战！
2024-11-28 17:33:39
1011
原创 浦语提示词工程实践 -- 书生大模型实训营第4期基础岛第三关
Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。ta包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。
2024-11-23 09:41:05
956
原创 玩转书生「多模态对话」与「AI搜索」产品 -- 书生大模型实训营第4期基础岛第二关
MindSearch是 InternLM 组织开源的 AI 搜索引擎 (框架)，它会对你提出的问题进行分析并拆解为数个子问题，然后在数百个网页中搜索、总结各个子问题的答案，并给出完整的搜索关键词、思考路径、参考网页等中间过程，从而提供广泛、有深度、高可信度的最终答案。可见，其具有良好的文本分析回答能力，但对于我们提出的更复杂的要求，暂时无法生成符合需求的图片。还是非常喜欢有问题分析的这种风格，如果能将问题分析做出与下方回答配套的思维导图就更好了。以下是简要的回答，可见模型对图文分析有一定的能力。
2024-11-23 09:40:12
563
原创 玩转HF/魔搭/魔乐社区 -- 书生大模型实战营【第四期】
目录，以下载模型的配置文件为例，先新建一个hf_download_josn.py 文件。接着，在界面下方的终端（terminal）安装以下依赖，便于模型运行。这里为方便演示直接在工作区创建文件，即。在上述新建文件中添加下面的代码，并运行。
2024-11-22 07:42:27
898
原创 Git 基础知识 -- 书生大模型实战营【第四期】
现实中我们总会面临一些问题：跟他人合作开发，我们最传统的策略就是打包压缩然后发送给对方，然后通过上传到网盘或者上传到QQ，又或者通过邮箱传输。效率低下，每次都需要压缩，上传，下载，还要考虑网络问题。无法追踪历史，无法追踪修改，无法追踪谁做了什么修改。无法协作开发，无法多人同时开发。我们会想要设计一个能解决以上问题的工具而且他需要满足以下的功能：支持多人同时开发, 保证高效有序有一个网络平台能帮我们同步工程开发进度差分增量式更新工程代码, 减少上传下载流量。
2024-11-22 07:40:54
890
原创 Python 基础知识 -- 书生大模型实战营【第四期】
简单来说，“debug”就是能再程序中设置中断点并支持一行一行地运行代码，观测程序中变量的变化，然后找出并修正代码中的错误。而VSCode提供了一个非常方便的debug工具，可以帮助你更容易地找到和修复错误。使用Vscode进行Python debug的流程。
2024-11-21 17:30:51
670
原创 Linux 基础知识 -- 书生大模型实战营【第四期】
端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。那么我们使用开发机为什么要进行端口映射呢？因为在后续的课程中我们会进行模型web_demo的部署实践，那在这个过程中，很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的ui资源没有被加载完全。
2024-11-21 11:21:48
844
原创 【中短文--深度学习笔记】Batchsize的选择、批量归一化、loss是否已经收敛（更新中-ing）
如果你没有任何参考，那么（即64、128、256、512、1024等）可以会更加直接和易于管理。而对于来说，batchsize大小最好<=数据集样本数*0.1。
2024-10-12 21:55:20
530
原创 【中短文】区分神经网络中 表征特征、潜层特征、低秩 概念
表征特征通常指的是。这些特征由NN经学习过程自动提取，能更好捕捉输入数据的本质属性。例如：在图像识别任务中，原始像素值可能不是最有效的输入，而经过卷积层处理后的特征图则可以更好地描述图像内容。
2024-10-12 11:26:41
1282
原创 革命性新网络KAN【第二篇-相比MLP，KAN胜在哪？】
本文承接【第一篇-base】，展开讲解KAN与MLP的对比。原文从不同角度给出了KAN相比MLP的优越性，同时也给出了KAN目前的一些限制。下面就让我们从6个方面走进KAN。希望大家有所收获！
2024-05-08 15:23:53
2270
原创 Pytorch实现扩散模型【DDPM代码解读篇1】
本篇内容属于对DDPM 原理-代码 项目的解读。下面主要是对其中源码的细致注解，帮助有需要的朋友更好理解代码。
2024-05-04 21:53:57
2036
4
原创 【实践笔记】OpenStreetMap城市结构数据_正确获取方式
在时空大数据挖掘（STDW）领域中，城市的结构数据一直是其中的重要一环。今天我们就来一起看看如何快速获取你想要的城市的基础数据吧！
2024-02-24 21:08:19
2778
原创 PAT刷题日记5 1010 Radix、1011 World Cup Betting、1012 The Best Rank
PAT 甲级 1010 Radix、1011 World Cup Betting、1012 The Best Rank
2024-02-23 19:31:12
863
原创 【科研笔记】时空大数据挖掘 —— 数据类型介绍_轨迹工作2——几大时空深度学习模型建模范式（完善版）
两篇博客对时空大数据挖掘的几大重要研究方向方法做了比较细致的整理。内容主要来自一次直播。小曦觉得这些内容对刚刚接触这个领域的同学们有比较好的引导作用。希望各位各位也能找到自己的兴趣点，找到在STDW领域研究的那份乐趣，收获属于自己的Top papers！
2024-02-23 19:24:35
2036
原创 【学习笔记--短文--对比学习2】通过对比损失（Contrastive Loss）设计loss function
What对比损失（Contrastive Loss）是对比学习中常用的一种损失函数，它通过比较正样本对和负样本对之间的相似性，引导模型学习有意义的特征表示。在对比损失中，目标是使正样本对的相似性更大，而负样本对的相似性更小。对比损失的定义如下：设输入样本为和，它们分别属于同一类别的正样本对，或者来自不同类别的负样本对。对于这两个样本，模型输出的特征表示分别为和，通常通过一个神经网络得到。对比损失的基本形式是欧氏距离的平方，如下：其中：是指示函数，当样本和。
2023-11-17 22:05:01
4920
原创 储备池计算（Reservoir Computing） ~ 前沿案例更新中
Reservoir Computing， 也叫Echo state network（回声网络）， 被视为是神经网络(Neural Network)的一种拓展框架。
2023-09-19 19:25:30
13314
3
原创 【学习笔记--短文】深度学习任务中：不同数据类型的预处理操作
将文本拆分成单词、子词或字符，以便模型能够理解文本中的语言单位。去除常见的停用词，如“and”、“the”等，以减少噪声并提高关键词的重要性。将单词还原为其基本形式，以减少词汇的多样性。去除文本中的非字母数字字符和标点符号，以净化文本。将文本转换为数值表示，通常使用词袋模型（Bag of Words）或词嵌入（Word Embeddings）。
2023-09-11 10:28:03
294
原创 【学习笔记--短文--对比学习1】：深度学习中的正、负采样 & 正、负样例 & 对比学习初涉
在深度学习中，正采样和负采样是用于训练模型的重要技术，特别是在对比学习中，它们用于创建训练样本并调整模型参数。下面我将详细解释正采样、负采样、对比学习的正负样例以及对比学习的核心过程。
2023-09-11 10:09:12
3959
原创 【学习笔记--短文】你知道神经网络中token的作用吗？
是文本或序列数据中的最小离散单元。在自然语言处理中，一个 token 可以是一个单词、一个子词（如字母、音节或子词片段），或一个字符，取决于任务和数据的预处理方式。这意味着文本中的每个 token 都代表着文本中的一个具体的、离散的信息单元。通常是文本数据的基本单位，将文本拆分成 tokens 有助于神经网络理解和处理文本信息。例如，句子 "I love deep learning" 可以被拆分成三个单词 tokens：["I", "love", "deep", "learning"]。
2023-09-11 09:55:48
2383
原创 【短文】图谱理论1（先导知识） ~ 带通滤波器
在图神经网络（GNN）中，图谱理论中的（带通）滤波器（Bandpass Filter）是一种用于处理图数据的滤波器，它通过选择某个频率范围内的信号来传递或过滤图上的信息。带通滤波器的工作方式类似于一个窗口函数，它在频率域上定义了一个带通范围，只有在这个范围内的频率分量才能通过滤波器。带通滤波器的工作原理是将信号通过一个滤波器，滤除通带范围之外的频率成分，只保留在通带范围内的频率。设计带通滤波器通常涉及到选择通带范围、确定通带内的频率响应形状、选择滤波器类型（IIR或FIR），并设计出相应的滤波器系数。
2023-09-11 09:41:54
2178
原创 【学习笔记--短文】监督学习 ~ Semi / Self / Un - supervised learning ~ Differ
1.半监督学习介于监督学习和无监督学习之间，利用带标签和不带标签的数据进行学习。2.自监督学习使用自动生成的目标标签或任务来进行学习，无需外部标签。3.无监督学习是一种从未标记的数据中学习模式和结构的学习方式，没有明确的目标标签或任务。每种学习范式都有其独特的应用和方法，根据具体问题的性质来选择适当的学习方式。
2023-09-11 09:11:25
244
原创 PETformer：正确打开Transformer多元时间序列预测的一种方法
Transformer如何应用于时间序列预测一直是近期探讨的一个核心问题，包括多变量建模的处理方式、Transformer的结构等。在中，提出了用线性模型打败Transformer模型；在后来的等工作中，又验证了Transformer的有效性。那么，到底如何使用Transformer进行时间序列预测效果最好呢？这里给出另外两篇工作的Github链接，大家可以阅读代码学习建模思路：文章主要从两个角度探索了Transformer如何应用于时间序列预测，一方面是Transformer的结构上，提出了。
2023-09-09 11:42:14
1325
1
原创 多变量时间序列预测建模-- SageFormer 【论文笔记】
而本文提出的方法，为每个序列前加入一个全局token，用来提取各个变量序列自身的信息，然后利用图学习的方式进行多变量关系的抽取。进行空间上的汇聚，汇聚得到的结果过一次时序维度上的Transformer产出最终的编码，其中时空网络部分会迭代多次，每次是一层图汇聚加上一层时间维度Transformer。多变量的每个序列主体仍然是单独过Transformer建模的，但是增加了一路学习序列间关系的分支，利用全局token提取每个序列的表征进行信息交互。最后，在时空网络部分，使用图学习根据学到的图结构，对。
2023-08-27 11:20:33
1136
1
原创 深度学习PyTorch基础篇【持续更新基础知识点的解析】
这个操作会对整个张量b进行排序，结果是一个元组，包含两个张量，第一个张量是排序后的值，第二个张量是对应的索引。2. `print(torch.sort(b, descending=True))`：这个操作和上一步类似，只是我们指定了`descending=True`参数，表示。总结起来，`dim=0`表示按列进行排序，`dim=1`表示按行进行排序。在给定的代码中，我们对张量b进行了排序操作，并通过不同的参数来指定排序的维度和排序的顺序。在这种情况下，会对每行的元素进行排序，并按降序排列。
2023-08-20 13:11:20
290
1
原创 【深度学习重要基础】Tensor 的属性
中，使用奇异值分解（SVD）可以将图像表示为低秩张量，从而实现图像的压缩和重构。中，词袋模型中的词向量矩阵通常是稀疏的，因为一个文本中只会包含少量的词汇。tensor类型（like:torch.float32）张量的稀疏性和低秩性是两个不同的概念。, coo类型表示非零元素的坐标形式。标识tensor对象在创建之后。在实际应用中，稀疏张量可以。帮助节省存储空间和计算资源。指的是张量的秩较低，即可以。
2023-08-19 21:49:13
285
原创 【深度学习重要基础】PyTorch中的广播机制
广播机制可以应用于一系列的逐元素操作，例如加法、减法、乘法、除法等。通过广播机制，我们可以方便地对形状不同的张量进行逐元素操作，避免了手动扩展张量的操作。如果两个张量的形状不完全匹配，PyTorch会自动使用广播机制来进行形状的扩展，使得两个张量的形状相容，从而进行逐元素操作。（Broadcasting）是一种用于在不同形状的张量之间执行逐元素操作的机制。在进行逐元素操作时，在PyTorch中，
2023-08-19 21:41:06
1427
转载 2022 ICML 论文合集（附Code和数据集）
代码链接：https://github.com/xianggao1102/learning-to-incorporate-texture-saliency-adaptive-attention-to-image-cartoonization。代码链接：https://github.com/pytorch/fairseq/tree/main/examples/data2vec。
2023-05-14 12:22:45
1772
原创 【科研笔记】时空大数据挖掘 —— 数据类型介绍_轨迹工作1（完善版 to ...工作2）
前两个是描述位置的坐标点，最后一个元素表示时刻。给出一条轨迹，考虑如何学习其中每个点更好的表示。这些表示会用到下游任务当中。循环神经网络每个unit之间都是等间隔的，而轨迹采样点之间一般是非等间隔的（非均匀）。如上图，P2->P3有时可能会有不同的路线。
2023-05-13 17:13:20
1429
1
原创 采样 -- 基本概念
在机器学习和统计学中，采样是从一个数据集中选取一部分样本用于模型训练或推断。采样可以是随机的也可以是确定性的，并且可以根据各种不同的采样策略进行操作。在深度学习中，采样通常用于生成训练批次、数据增强以及对抗生成网络等任务。在统计学中，采样可以用于从总体中获取样本来进行推断。
2023-05-13 16:53:40
3626
原创 【科研笔记】时空大数据挖掘——前言
从基础理论的角度出发，有侧重地讲述数据科学、网络科学以及AI赋能下的ST-BD。随着机器学习、深度学习的不断发展，时空分析领域不仅仅限于使用物联网传感器检测、运筹统计、GIS空间数据分析、地统计等方向，AI+X赋能众多“基科”，推动了全新的数据挖掘建模方式。根据任务场景的不同，选取需要的数据，进行清洗；以及所选数据的时空特性（不同领域的数据具有不同的特异属性--后续分享）综合建立所需的模型。季节性变化通常遵循时钟和日历——一般一天、一周或一年的重复。时空轨迹、时空格子数据、时空图数据、时空序列数据。
2023-05-01 14:18:52
2645
原创 （兴趣）推荐MLP建模 -- AutoMLP: Automated MLP for Sequential Recommendations 【论文阅读】
顺序推荐系统旨在根据用户的历史交互预测用户的下一个感兴趣的项目。然而，一个长期存在的问题是如何区分用户的长期/短期兴趣，这些。
2023-04-25 09:57:49
423
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人