机器学习与 范数

在向量与矩阵运算领域，范数是重要概念。不同范数在计算方式、几何意义、敏感性及优化行为上存在显著差异。如L0范数统计非零元素个数，L1范数计算元素绝对值之和，L2范数为平方和的平方根，L∞范数取元素最大绝对值。这些差异导致其在机器学习等实际应用中表现不同，L1易产生稀疏解，L2使解更平滑。理解不同范数特性，有助于在如特征选择、参数优化等场景中，精准选择范数类型，实现性能与目标的最佳平衡 。

一、范数的定义 范数是用来衡量向量大小的函数，记作LpL^pLp，定义为： ∣∣x∣∣p=(∑i∣xi∣p)1p||x||_p=(\sum_{i}|x_i|^p)^{\frac{1}{p}}∣∣x∣∣p​=(i∑​∣xi​∣p)p1​ 其中，p∈Rp\in\mathbb{R}p∈R，p≥1p\geq1p≥1，这里的R\mathbb{R}R为实数集。 直观上来说，向量xxx的范数衡量从原点到点xxx的距离。 二、欧几里得范数 欧几里得范数是机器学习中出现较为频繁，它是当p=2p=2p=2时的特殊范数，即L2L

numpy.linalg.norm numpy.linalg.norm（x，ord = None，axis = None，keepdims = False ） 参数详解： x:array_like，数组和矩阵都可以 ord: axis: axis=0时表示处理列数据，axis=1时表示处理行数据。 keepdims:Ture时表示保持原来的shape，默认为Flase返回数值。 a=np.arr...

一、L0范数与L1范数（范数相当于衡量一个矩阵的大小）        L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0。这太直观了，太露骨了吧，换句话说，让参数W是稀疏的。OK，看到了“稀疏”二字，大家都应该从当下风风火火的“压缩感知”和“稀疏编码”中醒悟过来，原来用的漫山遍野的“稀疏”就是通过这玩意来实现的。但你又开始怀疑了，是这样吗...

范数（norm） 几种范数的简单介绍

（****本文装载自zouxy09的博客，首先作者讲解非常好，是肯定的。其中一些参照自己的理解作了标记或注释，一些个人感觉没有用的就删掉了，在此特别说明****） 机器学习中的范数规则化之（一）L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09          今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理...

今天说一个深度学习里面经常出现，但是未必人人都能 get 到直观感受的概念：范数，英文名叫 norm。 1. 直观理解 本质上来讲，是用来衡量一个向量（vector）的规模的。 什么叫规模，举个例子： x: tensor([[1., 1., 1.], [1., 1., 1.], [1., 1., 1.]]) y: tensor([1., 1.]) 他们的 ...

存着学习：https://zhuanlan.zhihu.com/p/51673764

此文用于记录范数的基础知识，便于后续的查阅与复习，不定期更新。 1. Frobenius norm (Frobenius 范数) 1.1 定义 Frobenius 范数，简称F-范数，是一种矩阵范数，记为∣∣⋅∣∣F||·||_F∣∣⋅∣∣F​。矩阵A的Frobenius范数定义为矩阵AAA各项元素的绝对值平方的总和，即 ∣∣X∣∣F=∑i∑jxi,j2||X||_F=\sqrt{\sum_i\s...

常见的范数包括 L1 范数、L2 范数和无穷范数，它们在特征选择、参数正则化和支持向量机等机器学习任务中发挥着重要的作用。在机器学习中，范数是一个重要的概念，用于衡量向量或矩阵的大小。范数可以帮助我们度量和比较不同的数据结构，并在许多机器学习算法中起着关键的作用。在本文中，我们将详细介绍范数的概念以及它在机器学习中的应用，并提供相应的源代码示例。通过调用相应的函数，可以得到向量 x 的 L1 范数、L2 范数和无穷范数的值。范数在机器学习中有广泛的应用。常见的范数包括 L1 范数、L2 范数和无穷范数。