qq_52810166的博客

原创 只看理论容易空泛，只敲代码容易迷失方向。理论应该与实践结合

很高兴你对大型语言模型（LLM）感兴趣！想要学习并理解像我这样的模型，确实是一个既有挑战又非常有价值的目标。这是一个涉及多个领域的交叉学科，需要耐心和持续的努力。学习 LLM 是一个漫长但回报丰厚的旅程。祝你学习顺利，享受探索 AI 的乐趣！如果你在学习过程中遇到具体问题，随时可以来问我。

原创 24.0.2 双系统ubuntu 安装显卡驱动黑屏，系统启动界面键盘失灵

我使用systemd-boot 软件，在ubuntu中更改啦启动引导，改为windows manager 引导而非ubuntu引导，这样就可以在该阶段使用键鼠啦，也不用换什么p2 键盘。安装驱动，我查到资料，需要进入bios主板中，我微星主板通过一直按delete ，进入后，找到设置，找到安全，然后把能看到的选项都选择为disable。问题描述：通过run文件在ubuntu 界面版安装nvidia 驱动后，忽然黑屏，再次启动时，键盘鼠标失灵无法选择系统，只能进入ubuntu界面。然后通过 添加PPA源，

原创 OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.OMP: Hint

因为重复初始化了 libiomp5md.dll 通过打开对应环境下的Lib库，搜索该文件，并删除即可。

原创 RTX5080 安装torch，torchvision ,torchaudio 指南

RTX 5080 sm120架构，torch 预发布版，手动急速下载，因为国内暂无镜像源可用。个人提取好了py310版本对应的包，可供指导下载使用

原创 CMD 启动的conda 激活环境命令无效，powershell 中可用

原创 windows 10 openssh 作为服务端，无法识别到用户名，拒绝访问解决。

第一，经过查找到B站上一条用户评论，得知，openssh 有低版本漏洞，计算机名与用户名重合时，服务端无法正常识别密码。我修改了计算机名后，可以直接ssh访问该用户了。个人问题描述：我将相同的公钥分别配置在windows （openssh 服务端）和github 上， 可以通过github无密码访问，但是无法访问windows。即使修改了配置文件也无法使用空密码登陆，必须给自己的用户设置密码。第二，用户名不是微软账号名，而是在user 目录下的 文件夹的名字。给当前用户增加密码，同时修改计算机名。

原创 低秩矩阵近似问题-奇异值分解

奇异值分解有广泛的用途，例如对于低秩矩阵近似(low-rank matrix approximation)问题，给定一个秩为。式(A.33)中的分解称为奇异值分解(Singular Value Decomposition, 简称 SVD)，其中。的右奇异向量(right-singular vector)，的左奇异向量(left-singular vector)，的秩(rank)就等于非零奇异值的个数。奇异值分解提供了上述问题的解析解：对矩阵。就是式(A.34)的最优解，其中。分别是式(A.33)中的前。

原创 高维小样本数据的在线流特征选择

Online streaming feature selection for high-dimensional small-sample data》研究了高维小样本数据（HDSS）在类别不平衡情况下的在线流式特征选择问题，提出了一种名为OSFSHS的算法。该算法基于类别密度自适应邻域关系假设，利用在线显著性分析、相关性分析和冗余更新技术，动态选择特征子集。通过12个数据集的实验验证，OSFSHS在分类准确率、F-score和G-mean指标上优于六种主流算法，尤其在少数类预测中表现突出。

原创 PP-PLL：基于概率传播的部分标签学习

以下是对论文《PP-PLL: Probability Propagation for Partial Label Learning》的总结，按照假设、创新点、技术路线、技术实现细节、具体的数学公式、实验结果分析和结论的结构进行。

原创 PL-PLE 基于标签分布和纠错输出代码的部分标签学习 21年软计算

基于ECOC技术结合了PLL部分标签学习，但是仍没有正面解决标签歧义带来的模型对同一类样本的混淆

原创 超萌来袭！用 HTML、CSS 和 JavaScript 打造可爱 2048 游戏

可爱小猫的2048小游戏，上班摸鱼放松下吧~

原创 部分标签学习之基于平均消歧策略之代码实现

部分标签学习的基于平均消歧策略的代码训练实现。可以快速了解部分标签学习的训练流程。

原创 《CroSel: Cross Selection of Confident Pseudo Labels for Partial-Label Learning》24年CVPR 精读

该文献提出了一种新颖的部分标签学习方法，称为 CroSel（Cross Selection of Confident Pseudo Labels），其核心目标是通过交叉选择策略和一致性正则化策略来解决部分标签学习中的标签不确定性问题。通过利用模型的历史预测，CroSel能高效地选择候选标签中的“真实”标签，并通过引入 co-mix 正则化减少噪声和标签浪费，提升模型训练的精度和数据利用率。实验结果表明，CroSel 在多个基准数据集上的表现超越了现有的最先进方法。

原创 CIFAR10 数据集自定义处理方法

可以自定义训练集和测试集中不同类别的样本的数量。可用于模拟类别不平衡问题，存在混淆数据问题。# 自定义数据集类，继承自 torch.utils.data.Dataset"""自定义数据集类:param images: 图像数据，numpy 数组格式:param labels: 标签数据，numpy 数组格式:param transform: 可选的图像预处理转换""""""创建自定义数据集（训练集或测试集）:param positive_classes: 正类别的类别列表。

原创 《Partial-label learning with a guided Prototypical classifier》23年CVPR 文献速读

PaPi框架通过改进表示学习和标签去歧义的策略（去除了对比学习模块），在部分标签学习任务中取得了显著的性能提升。它在多种数据集和歧义水平下均表现出色，尤其是在面对高歧义和实例依赖歧义时。此外，PaPi还展示了其在学习有效表示和原型分类器方面的优势。未来的工作可以进一步探索PaPi在其他领域（如自然语言处理或语音识别）中的应用，或者研究如何进一步优化PaPi以处理更复杂的数据分布和标注噪声。自教学能够有效地利用未标注数据，逐步改进模型的预测能力，并具有较强的适应性。

原创 部分标签数据集生成与过滤特定标签方法

这段代码的目的是通过构建一个部分标签学习（Partial Label Learning, PLL）框架来生成一个包含部分标签的数据集，并且支持根据给定的标签列表对数据集进行筛选和过滤。数据预处理与加载：使用 PyTorch 和 torchvision 来加载 CIFAR-10 数据集，并对其进行标准化处理。部分标签数据集的生成：为每个样本生成多个候选标签，并模拟部分标签学习中的标签不确定性。数据集筛选：根据用户提供的标签列表来过滤掉包含特定标签的样本，生成一个新的数据集。DataLoader 设置。

原创 结合基于标签置信度的特征选择方法用于部分多标签学习-简介版

1. **LCFS-PML 能够有效去除伪正标签，提高分类性能。**2. **采用特征-标签交替优化策略，使特征子空间和标签置信度相互提升。**3. **实验表明该方法优于已有 PML 方法，特别适用于高维数据和噪声标签数据。**4. **计算复杂度较合理，收敛速度较快，适用于大规模数据集。**

原创 《基于自适应正负样本对比学习的特征提取框架》-核心公式提炼简洁版 2022年neural networks

提供了一种不使用数据增强，而是利用特征空间的潜在结构构建正样本与负样本队列的方法，基于互信息最大化增强了相似样本在特征空间中非线性统计依赖性。

原创 结合基于标签置信度的特征选择方法用于部分多标签学习-简介版

将部分标签集对应的特征空间分解为判别性特征与异常特征，进而进行矩阵分解。我认为这是作者提出的最大的创新点，针对异常特征导致的部分标签学习的标签模糊性。

原创 GraphDPI：通过互信息最大化进行图表示学习来消除部分标签歧义

解析了23年《模式识别》上发布的一篇通过互信息最大化进行图表示学习消除PLL歧义的论文，介绍了相关的概念、数学表达，以及方法实现的细节，并提出了读者可能存在的一些疑问。

原创 低秩矩阵近似-奇异值分解

奇异值分解有广泛的用途，例如对于低秩矩阵近似(low-rank matrix approximation)问题，给定一个秩为。式(A.33)中的分解称为奇异值分解(Singular Value Decomposition, 简称 SVD)，其中。的右奇异向量(right-singular vector)，的左奇异向量(left-singular vector)，的秩(rank)就等于非零奇异值的个数。奇异值分解提供了上述问题的解析解：对矩阵。就是式(A.34)的最优解，其中。分别是式(A.33)中的前。

原创 机器学习中矩阵求导公式

机器学习中常用的矩阵求导公式，包括对于对矩阵的迹的求导，可联系作者获得求导公式的推导过程。

原创 正则化机制提升部分标签学习中的消歧策略

介绍了两种正则化策略“流行假设”，“双凸正则化”来提升基于平均的消歧策略的模型性能

原创 《重新审视深度部分标签学习中的一致性正则化》2022年ICML论文精读

本文一篇22年ICML上的《重新审视深度部分标签学习中的一致性正则化》进行了精读，提取了论文核心贡献点，以及关键性的数学公式和相关符号的含义表示。

原创 UCI数据集获取方法

个人笔记用于日后开发新的机器学习算法，使用UCI数据集的部分笔记

原创 跨域视线估计的协同对比学习（重点针对局部对比学习解释）

局部对比学习通过将正样本对分解为局部特征，并对其进行对齐和对比，增强了模型对相关特征的学习能力。它特别适用于需要捕捉细粒度信息的任务，如图像分类、目标检测或多模态对齐。结合全局对比学习，可以在保持整体语义的同时，进一步提升模型的表示能力。在实际应用中，应避免使用那些破坏局部空间结构、细节或语义的数据增强手段，如过度几何变换、强噪声、全局颜色剧变、过度遮挡和模糊。常用的合适增强包括轻微的颜色抖动、小范围平移或缩放等。

原创 机器学习与深度学习中模型训练时常用的四种正则化技术L1，L2，L21，ElasticNet

四种训练模型时常用的正则化技术对于模型参数的不同影响。

原创 ADMM（交替方向乘子法详解与实现）

ADMM是一种功能强大且灵活的优化算法，特别适合处理带有约束的凸优化问题。其核心在于通过交替更新变量和对偶变量，将复杂问题分解为更易于求解的子问题。ADMM在理论上保证收敛（在凸问题中），在实践中也表现出良好的鲁棒性和高效性。通过适当的参数调整和子问题求解策略，ADMM可以应用于广泛的实际问题，从机器学习到信号处理再到分布式优化。

原创 使用拉格朗日乘子法求解二次规划问题

二次规划（Quadratic Programming, QP）是一种特殊的优化问题，其目标函数是变量的二次函数，而约束条件通常是线性的。最小化fx12xTQxcTx受约束Ax≤bx≥0&\text{最小化} \quad f(x) = \frac{1}{2} x^T Q x + c^T x \\&\text{受约束} \quad A x \leq b, \\​最小化fx21​xTQxcTx受约束Ax≤bx≥0​xxx。

原创 Anaconda安装页面四个选项的作用

Anaconda四个安装建议的影响，建议统统勾选，会减少很多麻烦。

原创 非负矩阵分解

非负矩阵分解（NMF）是一种强大的工具，通过将复杂的数据矩阵分解为易于解释的基矩阵和系数矩阵，帮助我们揭示数据的潜在结构和模式。虽然NMF在处理许多实际问题时表现出色，但在应用时需要考虑其非凸性和唯一性等限制，并结合具体问题选择合适的初始化和优化策略，以获得最佳的分解效果。

原创 NMF(非负矩阵分解)

定义：NMF是一种矩阵分解方法，专门用于处理非负数据。给定一个非负矩阵YYY（即矩阵中的所有元素YijY_{ij}Yij​都是非负的），NMF的目标是将YYY近似分解为两个非负矩阵WWW和HHH的乘积，即Y≈WHY≈WH。近似分解公式：对于矩阵YYY中的每个元素YijY_{ij}Yij​，可以通过WWW和HHH的对应元素的线性组合来近似表示，具体公式为Yij≈WHij∑k1rWikHkjYij​≈WHij​。

原创 sklearn中生成完整标签数据集、半监督数据集，多标签数据集的模拟方法

是库中的一个模块，它提供了许多用于生成样本数据集和加载真实世界数据集的工具。

原创 PyTorch分布式训练

（数据划分原理见引用[3]中描述的补充采样机制）

原创 十种处理权重矩阵的方法及数学公式

这些方法在深度学习中应用广泛，选择时需考虑模型架构、数据特性和资源限制。的谱范数，即最大奇异值。是小批量的均值和方差，

原创 vMF分布（von Mises-Fisher分布)

vMF分布通过指数函数刻画方向数据的集中特性，是高维空间中方向统计分析的核心工具，其参数估计和应用广泛依赖于贝塞尔函数和数值方法。vMF分布（von Mises-Fisher分布）是定义在单位球面。上的概率分布，用于建模多维空间中的方向数据。

原创 常用合成数据集之高斯分布

利用高斯分布验证实验思路是常见的实验室方法。

原创 环境变量的作用

总之，环境变量是一种灵活且强大的机制，它为系统和软件的配置、运行和管理提供了极大的便利。

原创 用户变量与系统变量的区别

在操作系统中，用户变量和系统变量都是环境变量，它们用于存储一些特定的信息，方便系统和应用程序使用。

原创 根据 GPU 型号安装指定 CUDA 版本的详细步骤(附有CUDA版本对应torch版本的表格)（补充python版本对应torch-gpuv版本表格）

在 CUDA Toolkit 的下载页面上，“Version” 处提供的多个选项代表的是不同的操作系统版本，而不是不同的 CUDA 版本。尽管这些选项都是针对 CUDA 10.2 版本的安装程序，但它们是为了确保与不同操作系统版本的兼容性。例如，如果你正在使用 Windows 10，你应该选择 “10” 选项来下载适用于 Windows 10 的 CUDA Toolkit 10.2 安装程序。选择正确的操作系统版本非常重要，因为不同的操作系统可能有不同的系统要求、驱动程序和库依赖。这里我选择win10。