- 博客(399)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 KL散度（Kullback-Leibler Divergence）：概率分布差异的量化利器
KL散度（Kullback-Leibler Divergence），又称相对熵（Relative Entropy），是信息论中用于衡量两个概率分布之间差异的核心工具
2025-05-07 23:29:01
130
原创 P值、置信度与置信区间的关系：统计推断的三大支柱
在统计学中，P值（P-value）、置信度（Confidence Level）和置信区间（Confidence Interval, CI）是进行假设检验和参数估计时最常用的三个概念。它们看似独立，实则紧密相连，共同构成了现代统计推断的核心框架。
2025-05-07 23:19:53
773
原创 协方差与皮尔逊相关系数：从定义到应用的全面解析
协方差与皮尔逊相关系数是统计学中分析变量关系的核心工具。协方差通过数学期望和偏差乘积量化变量的联合变化趋势，其设计逻辑基于最小化线性误差的优化目标，并结合概率论的期望推导。
2025-05-07 23:10:24
589
原创 Python精进系列：Python __call__ 方法详解
__call__ 是一个特殊方法（Magic Method），它赋予类的实例以函数般的调用能力。通过实现 __call__，你可以将对象“变成函数”，从而模糊对象与函数之间的界限。
2025-05-07 00:46:30
921
原创 PyTorch与TensorFlow自定义层详解：从零开始构建你的深度学习模块
本文将系统讲解如何在PyTorch和TensorFlow中创建自定义层，并提供可直接运行的代码模板
2025-05-07 00:41:54
486
原创 PyTorch 与 TensorFlow 中的 model(x)：深入理解 __call__、forward 和 call 的关系
为什么我们可以写 model(x)，而不是 model.forward(x) 或 layer.call(x)？
2025-05-07 00:29:47
1296
原创 PyTorch 与 TensorFlow 中基于自定义层的 DNN 实现对比
本文深入比较了使用PyTorch和TensorFlow构建基于自定义层的深度神经网络（DNN）的方法。通过直接继承核心类并利用各自框架的特点，如PyTorch的`nn.ModuleList`结合`nn.Linear`与TensorFlow的直接继承`tf.keras.layers.Layer`，展示了如何灵活高效地实现DNN。两种方法各有千秋，分别适合快速原型开发与生产部署，为不同需求提供了解决方案。无论选择哪个框架，都能助力开发者深入理解底层机制，适应特定项目需求。
2025-05-07 00:16:08
590
原创 LRU缓存机制：魔法书架的智慧
在计算机科学领域，缓存就像一个会自动整理的魔法书架。它能记住你最常看的书，自动清理掉那些很久没翻的旧书，既节省空间，又让常用数据触手可及。
2025-05-05 18:10:47
1023
原创 Python精进系列：bisect_left 函数实现高效插入与有序列表管理
在Python中，`bisect`模块是处理有序列表的利器，其核心函数`bisect_left`和`bisect_right`能够通过二分查找快速定位插入位置，从而保持列表的有序性。
2025-05-05 04:11:26
953
原创 Python精进系列：nonlocal 关键字详解
nonlocal是连接嵌套函数与外层作用域的桥梁，它让代码更优雅、更安全，但也需要谨慎使用以避免逻辑混乱。
2025-05-05 01:58:08
697
原创 深入理解前缀和：区间求和的利器
在处理数组或序列相关的算法问题时，前缀和（Prefix Sum）是一种非常有用的技巧。本文将详细介绍前缀和的概念、应用场景及其在实际编程中的应用案例，帮助读者更好地理解和使用这一技术。
2025-05-05 01:09:16
227
原创 冒泡排序详解：从零理解其核心思想与循环设计原理
在众多基础排序算法中，冒泡排序（Bubble Sort） 是最容易理解和实现的一种。它以“交换相邻元素”的方式将较大的元素逐步“浮”到数组的末尾，就像水中的气泡一样。
2025-05-03 16:21:47
623
原创 回溯算法通关指南：以经典子集问题为切口，吃透算法精髓
回溯算法是一种系统性地搜索所有可能解的算法策略。它本质上是深度优先搜索（DFS）的一种变体，常用于解决组合、排列、子集等穷举类问题。
2025-05-03 14:46:13
836
原创 逐词蹦字，步步为营：如何理解 Decoder 和 GPT 是自回归的？
在深度学习模型中，Decoder（解码器）和GPT的自回归特性是理解其生成机制的核心。本文将从基础概念、技术原理、典型案例三方面拆解，帮助读者清晰理解二者的自回归本质。
2025-04-29 22:34:12
1215
原创 从 BERT 到 GPT：Encoder 的 “全局视野” 如何喂饱 Decoder 的 “逐词纠结”
在深度学习领域，Encoder（编码器）与Decoder（解码器）是序列处理任务的核心组件，二者通过不同的注意力机制设计，形成了“理解-生成”的黄金搭档。本文从基础功能、注意力机制差异、典型案例及工程实践等维度，解析这对架构的核心设计逻辑。
2025-04-29 22:04:28
1002
原创 推荐系统实验指标置信度：p值核心原理与工程应用指南
推荐系统实验的核心目标不是追求p<0.05，而是通过科学的置信度评估，找到真正能提升用户价值与商业指标的改进方向。合理运用p值工具，结合业务场景深度分析，才能避免“数据迷信”，实现实验效能的最大化。
2025-04-29 21:51:52
738
原创 推荐系统中 Label 回收机制之【时间窗口设计】
在推荐系统、实时计算和流量控制等领域，时间窗口大小的确定是影响系统效果的核心问题。合理的时间窗口需在数据时效性与模型效果之间找到平衡，本文从业务需求、数据特性、算法模型、工程实现四大维度构建分析框架，结合行业实践给出可落地的策略。
2025-04-29 21:40:34
680
原创 推荐系统在线离线打分不一致：核心原因与全链路解决方案
在推荐系统研发中，"离线AUC暴涨3%，线上CTR却暴跌5%"是令算法工程师头疼的典型问题。这种打分不一致本质上是离线评估与线上真实场景的「认知鸿沟」，可能导致算法迭代方向迷失。本文结合实际工程经验，从特征、训练、评估等维度拆解核心原因，并给出可落地的解决方案。
2025-04-29 21:19:29
1174
原创 论文解读：迁移学习（A Survey on Transfer Learning）
迁移学习（Transfer Learning）这一全新框架，其核心目标是利用源领域的知识提升目标领域的学习效果，打破“数据同分布”的枷锁。
2025-04-26 02:32:58
1734
原创 对抗学习：机器学习里的 “零和博弈”，如何实现 “双赢”？
在机器学习的广阔领域中，对抗学习以其独特的“博弈”思想脱颖而出。生成对抗网络（GAN）作为其经典代表，宛如一场“猫鼠游戏”——生成器努力“造假”，判别器全力“打假”，二者在对抗中共同进化。
2025-04-26 02:10:06
1149
原创 【论文解读】CLIP：从自然语言监督中学习可迁移视觉模型
OpenAI提出CLIP（Contrastive Language-Image Pre-training），首次证明：通过对齐图像-文本对的对比学习，可构建通用视觉模型，直接用自然语言描述实现零样本迁移
2025-04-26 01:31:43
719
原创 【论文精读】Reformer：高效Transformer如何突破长序列处理瓶颈？
Reformer针对传统Transformer长序列处理瓶颈，引入局部敏感哈希注意力（降复杂度至O(LlogL)）、可逆残差网络（大幅节省内存）等技术。实验显示其精度接近传统模型，速度和内存效率显著提升，适用于长文本、推荐系统等场景，推动Transformer高效化。
2025-04-23 23:20:16
815
原创 基于上下文的 Listwise 重排模型（五）：Evaluation - Generation Framework
EG框架为组合推荐系统提供了“建模 - 生成 - 评估”的完整解决方案，其核心思想可迁移至电商、广告等多物品推荐场景。对于研究者，该框架展示了强化学习与序列建模在推荐系统中的创新应用；对于工程落地，其离线评估指标和轻量化设计提供了可复用的实践经验。随着推荐系统向“场景化、全局优化”演进，EG框架代表了从单点打分到序列级决策的重要技术升级。
2025-04-23 01:40:42
699
原创 基于上下文的 Listwise 重排模型（四）：PRM
在推荐系统中，重排作为精排后的关键环节，直接影响用户体验和业务指标。阿里巴巴提出的个性化重排序模型（PRM, Personalized Re-ranking Model）通过Transformer架构建模列表内物品的交互关系，结合用户个性化偏好，实现精排结果的深度优化。本文从模型架构、损失函数、核心优势到落地实践全面解析PRM。
2025-04-23 01:26:00
855
原创 基于上下文的 Listwise 重排模型（三）：Seq2Slate
在推荐系统和信息检索领域，如何高效生成用户感兴趣的推荐列表（Slate）是核心挑战之一。传统排序模型难以捕捉商品间的高阶依赖关系，导致推荐列表的整体吸引力不足。本文介绍谷歌提出的Seq2Slate模型，通过序列到序列（Seq2Seq）架构与指针网络（Pointer Network）的结合，将重排问题转化为序列预测任务，动态优化推荐列表的顺序。
2025-04-23 01:02:00
1001
原创 基于上下文的 Listwise 重排模型（二）：DLCM
DLCM通过“精排筛选+上下文建模+注意力重排”的三段式设计，为排序优化提供了新的思路。其核心在于利用序列处理中的顺序反转和门控机制，让模型聚焦关键商品，同时通过多样化的损失函数适应不同场景。随着算力和数据的发展，类似结合全局与局部特征的模型将在信息检索和推荐领域发挥更大作用。
2025-04-23 00:37:42
694
原创 基于上下文的 Listwise 重排模型（一）：miRNN
2018年阿里团队提出的miRNN（Mutual Influence aware RNN）模型，首次将电商搜索重排建模为全局优化问题，通过RNN捕捉商品序列的相互影响，结合Beam Search生成最优排序，在淘宝搜索中实现GMV（商品交易总额）提升5%的突破。本文将结合论文细节与通俗案例，拆解这一工业级重排框架的核心逻辑。
2025-04-22 23:23:55
1514
原创 模态双侠闯江湖：SimTier 分层破局，MAKE 智炼新知
尽管多模态数据在提升模型准确性方面的潜力已得到认可，但包括淘宝展示广告系统在内的许多大规模工业推荐系统，仍主要依赖模型中的稀疏ID特征。在这项工作中，我们探索了利用多模态数据提升推荐准确性的方法。我们首先确定了在工业系统中高效且经济地采用多模态数据的关键挑战。为应对这些挑战，我们引入了一个两阶段框架，包括：1）预训练多模态表示以捕捉语义相似性，2）将这些表示与现有基于ID的模型集成。此外，我们详细介绍了生产系统的架构，该架构旨在促进多模态表示的部署。自2023年中期集成多模态表示以来，淘宝展示广告系统的性能
2025-04-19 16:59:11
930
原创 从 “单细胞” 到 “数据森林”：层次聚类的 “自底向上” 生长法则
在机器学习的无监督学习领域，聚类算法是探索数据内在结构的重要工具。层次聚类（Hierarchical Clustering）因其能够生成数据的层次化分组结构，在生物信息学、市场分析、文本挖掘等领域得到广泛应用。本文将从核心概念、算法原理、实现方法等方面深入解析层次聚类，并通过代码示例演示其在Python中的应用。
2025-04-19 16:20:46
848
原创 工业级向量检索核心技术：IVF-PQ原理与全流程解析
在大规模高维向量检索场景中，IVF-PQ（倒排索引结合乘积量化）凭借“粗筛范围+细算距离”的双重加速策略，成为核心解决方案。本文将深入解析其原理与全流程，助力开发者掌握这一关键技术。
2025-04-19 14:43:55
680
原创 长期行为序列建模技术演进：从SIM到TWIN-v2
在推荐系统与广告投放领域，长期行为序列建模旨在从用户数月甚至数年的历史行为中捕捉稳定兴趣模式，是解决冷启动、提升推荐精度的关键。随着工业界需求激增，SIM、ETA、SDIM、TWIN及TWIN-v2等模型相继诞生，推动技术不断革新。以下将按序深入解析这些模型的原理、创新及实践意义。
2025-04-19 01:46:11
1022
原创 局部敏感哈希实践：以四维空间中随机投影法为例
本文以四维向量为例，实践局部敏感哈希（LSH）技术，通过随机投影法将高维向量映射到低维空间，利用哈希桶聚集相似向量，再通过二进制码与汉明距离量化相似度（如近邻向量汉明距离仅1）。结合约翰逊-林登施特劳斯引理等数学原理，解析投影生成、分桶规则、代码实现及参数调优，展现LSH如何将高维数据相似性搜索复杂度从 O(N) 降至高效可计算范围，为图像检索、推荐系统等提供关键技术支持。
2025-04-19 01:16:08
650
原创 一文读懂局部敏感哈希：原理、应用与实践
在当今数据呈爆炸式增长的时代，从海量的高维数据中快速找出相似数据，成为了计算机视觉、自然语言处理等众多领域亟待解决的难题。而局部敏感哈希（Locality - Sensitive Hashing，LSH） ，就像一把神奇的钥匙，为我们打开了高效解决这一问题的大门。接下来，就让我们一同深入探索LSH的奥秘吧！
2025-04-19 00:45:36
1096
原创 跨次元牵线：推荐系统中异构序列 Embedding 空间对齐技术
针对推荐系统中商品访问序列与页面访问序列的维度异构问题，本文系统研究跨序列Embedding空间对齐技术。通过分析异构序列的特征差异与语义鸿沟，提出基于双塔模型、图神经网络、对比学习及多模态迁移学习的对齐方法，构建从独立编码到跨空间约束的技术体系。实验表明，所提方法显著提升跨维度语义关联建模能力，为解决推荐系统冷启动与稀疏交互问题提供新路径。
2025-04-17 09:22:30
1150
原创 InfoNCE：在特征空间中，正样本和负样本的拔河比赛 —— 从对比学习到多模态融合的全解析
在无监督学习与自监督学习的技术版图中，InfoNCE（Noise-Contrastive Estimation for Neural Networks）损失函数如同基石般重要。它通过对比正、负样本的巧妙设计，让模型在缺乏标注数据的情况下，能够自主学习到数据的语义结构和判别性特征。本文将从基础原理、数学推导、代码实现到实际应用场景进行拆解，帮助大家深入理解对比学习技术大图。
2025-04-17 08:57:23
1107
原创 Python精进系列：从 __name__ 开始了解 python 常见内置变量
在Python编程的世界里，`__name__`是一个既特殊又常用的内置变量。无论是初涉Python的新手，还是经验丰富的开发者，理解`__name__`变量的工作机制都至关重要。它不仅关乎代码的结构组织，还对模块的正确使用和调试有着深远影响。本文将深入探讨`__name__`变量的各个方面，通过丰富的代码案例，帮助大家全面掌握这一重要概念。
2025-04-05 20:31:34
624
原创 推荐系统的注意力进化：从 Self-Attention 到 Target-Attention
在深度学习和人工智能蓬勃发展的当下，推荐系统已成为众多互联网产品的核心竞争力。而注意力机制，作为推荐系统中的关键技术，正发挥着举足轻重的作用。本文将深入探讨注意力机制及其在推荐系统中的多种变体，如Self - Attention、Target - Attention和双层Attention。
2025-04-05 15:37:41
1123
原创 告别低效融合！NOVA 机制如何让序列推荐 “如虎添翼”
“Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation”由香港大学和华为诺亚方舟实验室的学者发表于2021年。这篇论文聚焦于序列推荐系统，提出非侵入式自注意力（NOVA）机制和NOVA-BERT框架，有效融合辅助信息，提升推荐性能。
2025-04-04 18:54:18
882
原创 循相似之迹：解锁协同过滤的核心推荐逻辑
协同过滤是推荐系统的经典技术，原理简单、易实现，在电商、音乐、视频等很多领域广泛应用。不过它也面临数据稀疏性和冷启动等问题。随着技术发展，可结合深度学习、内容推荐等其他技术改进协同过滤算法，提升推荐系统性能和准确性，给用户更个性化、精准的推荐服务。
2025-03-29 21:35:38
724
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
2025-02-08
树模型论文汇总.zip
2019-08-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人