- 博客(30)
- 收藏
- 关注
RSS订阅原创 【Datawhale组队学习】模型减肥秘籍：模型压缩技术6——项目实践
NNI (Neural Network Intelligence) 是由微软开发的一个开源自动化机器学习（AutoML）库，用于帮助研究人员和开发人员高效地进行机器学习实验。它提供了一套丰富的工具来进行模型调优、神经网络架构搜索、模型压缩以及自动化的超参数搜索。
2024-11-29 15:55:33
924
原创 【Datawhale组队学习】模型减肥秘籍：模型压缩技术5——知识蒸馏
通过将一个复杂且大型的教师模型中的知识传递给一个较小的学生模型，从而在保持模型性能的前提下，减少模型的计算复杂度和内存占用。通过将一个复杂的深度网络（例如大型卷积神经网络或多个模型集成体）作为教师模型，再将其知识传递给一个小型的学生模型，学生模型的性能通常可以接近甚至达到教师模型的水平，但训练和推理的计算开销大大降低。在训练 DistilBERT 的过程中，一个预训练好的 BERT 模型作为教师模型，而 DistilBERT 作为学生模型，学生模型通过学习教师模型的知识来获得类似的语言理解能力。
2024-11-24 22:25:09
1035
原创 【Datawhale组队学习】模型减肥秘籍：模型压缩技术4——神经网络架构搜索
神经网络架构搜索是通过自动化方法来设计神经网络架构的一种技术，与传统手工设计网络结构相比，NAS能够在大量可能的架构中进行搜索，找到最优的神经网络架构，从而减少人工调参和设计的时间。学习这章时，重点在于理解NAS的基本原理、搜索策略、评价标准，以及如何应用这些方法在不同的机器学习任务中找到有效的网络架构。
2024-11-21 20:53:19
904
原创 Datawhale组队学习】模型减肥秘籍：模型压缩技术3——模型量化
模型量化的目的是通过将浮点运算转换为定点运算，以减少模型大小、内存和存储需求，同时加快推理速度，降低计算功耗，使得模型在低算力设备上运行更加高效，特别适用于嵌入式设备或移动端场景。不同数据类型（FP32、BF16、FP16、INT8）在动态范围和精度上的差异。FP32具有最广的动态范围，同时精度最高。图中两个相邻值之间的距离较小，意味着它能够在很大范围内精确地表示数值，是深度学习模型的常见选择，尤其在精度要求高的场景中。BF16保持了与FP32类似的动态范围，但牺牲了一部分精度。
2024-11-18 21:21:17
539
原创 【Datawhale组队学习】模型减肥秘籍：模型压缩技术2——模型剪枝
这个阶段是儿童大脑发育最迅速的时期，大量的突触被创建，以支持孩子学习各种技能和理解复杂的外界环境。对于一些需要实时响应的应用，比如手机上的语音助手或自动驾驶，模型运行得越快，效果就越好。对于一些依靠电池供电的设备来说，模型剪枝可以延长电池的使用时间，这对用户体验非常重要。然后通过剪枝和微调，恢复或优化模型性能，可以在保留模型准确性的同时显著减少计算资源的消耗。使用 torch.nn.utils.prune 模块进行模型剪枝，并解释了几种不同的剪枝策略，包括局部剪枝、全局剪枝和自定义剪枝。
2024-11-15 23:33:17
838
原创 【Datawhale组队学习】模型减肥秘籍：模型压缩技术1—引言&CNN
在AI飞速发展的年代里，大家似乎都在焦虑地关注着大模型的发展，不止是头部大厂，普通的AI从业者、学生也在试图去训练、改进大模型。但是，像GPT-4和Claude 3这样的大语言模型，参数量动辄数万亿，性能非常强大。但是，真正让AI落地应用的关键，往往是那些经过压缩和优化的小模型。小模型可以在实际场景中更高效地运行，比如在智能手机、无人机、甚至自动驾驶汽车上，提供快速而可靠的AI服务。因此，尽管大模型不断涌现，小模型才是推动AI技术走进现实世界的核心。
2024-11-12 18:59:51
902
原创 【Datawhale X 李宏毅苹果书 AI夏令营】Task3 卷积神经网络
卷积神经网络（CNN）是计算机视觉领域中最为常用的一种神经网络架构。其主要特点是利用卷积操作来提取图像中的局部特征，并通过多层卷积和池化逐步形成对全局的理解。卷积神经网络的优势在于它能够自动捕捉图像中的重要模式，并有效降低参数的数量，从而提升计算效率。关键点：卷积操作：核心在于使用卷积核扫描图像，提取局部特征。参数共享：通过共享卷积核参数，减少了模型的复杂度，避免过拟合。局部感受野：每个神经元只关注图像的局部区域，通过多层卷积逐渐扩大感受野。
2024-09-03 20:05:32
927
原创 【Datawhale X李宏毅苹果书 AI夏令营】Task2分类
深度学习中的分类任务看似简单，但涉及到许多核心的数学原理和优化技巧。分类和回归的关系使我们能够从回归任务中借鉴经验，而softmax函数和交叉熵损失的应用则为我们提供了高效处理分类问题的方法。在实际应用中，理解这些理论基础能够帮助我们设计更加高效和准确的深度学习模型，解决各种复杂的分类任务。
2024-08-30 17:34:40
845
原创 【Datawhale X李宏毅苹果书 AI夏令营】Task1 局部极小值与鞍点&批量和动量
相反,更可能出现的是在某些维度上是最小值,而在其他维度上不是的情况,这正是鞍点的定义。这是因为海森矩阵的大小是参数数量的平方,对于有数百万参数的模型来说,存储和计算如此大的矩阵需要巨大的计算资源。这是因为在高维空间中,找到一个在所有维度上都是最小值的点变得极其困难,而找到一个在某些维度上是最小值、在其他维度上是最大值的点则相对容易得多。在深度学习中,陷入局部极小值意味着模型的性能虽然在当前参数附近是最好的,但可能还有更好的参数配置存在。例如,在高维空间中,随机选择的两个点很可能几乎是正交的。
2024-08-27 09:20:11
1004
原创 Datawhale AI夏令营【从零入门CV图像竞赛】数据增强，提升模型表现
在上一次实验的基础上，我们注意到模型的性能还有提升空间，同时我们也发现原有的模型（EfficientNet-B4）参数量较小（约77M），未充分利用200M的限制。因此，本次实验我们选择了更大、更强大的模型，以期获得更好的检测效果。
2024-07-17 22:14:49
319
原创 Datawhale AI夏令营【从零入门CV图像竞赛】任务一：了解Deepfake & 初探baseline
随着深度学习技术的快速发展,Deepfake(深度伪造)技术在近年来取得了显著进步,能够生成高度逼真的虚假图像、视频和音频内容。这种技术的进步不仅为创意内容制作带来了新的可能性,同时也对信息真实性、个人隐私和公共安全构成了前所未有的威胁。在这样的背景下,本次挑战赛聚焦于Deepfake检测技术的开发和优化。这个初始版本提供了一个完整的训练流程，包括数据加载、模型训练、验证和保存最佳模型。它采用了一些基本的深度学习最佳实践，如数据增强、学习率调度和模型检查点。感觉要训练很长时间，不知道明天能不能出来。
2024-07-14 18:07:58
618
1
原创 【云模型部署】任务二：猫狗识别模型
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2023-11-07 23:18:15
154
原创 【组队学习】06.Pytorch可视化
在深度学习建模过程中，为了能够快速绘制模型基本结构、观察模型评估指标伴随训练过程的动态变化情况，当然也为了能够观察图像数据，我们可以使用TensorBoard工具来进行PyTorch深度学习模型的可视化展示。Tensorboard原本是TensorFlow的可视化工具，而目前在TensorboardX工具的加持下，其他深度学习计算框架也可使用TensorBoard工具进行可视化操作了。...
2022-07-22 21:48:18
833
原创 [组队学习]03.PyTorch模型定义
当模型的前向计算为简单串联各个层的计算时，Sequential类可以通过更加简单的方式定义模型。它可以接收一个子模块的有序字典(OrderedDict)或者一系列子模块作为参数来逐一添加Module的实例，⽽模型的前向计算就是将这些实例按添加的顺序逐⼀计算。对应模块为nn.Sequential()。...
2022-07-17 21:25:39
138
原创 Datawhale组队学习numpy第5章排序搜索计数及集合操作
排序，搜索和计数排序numpy.sort(a[, axis=-1, kind='quicksort', order=None]) Return a sorted copy of an array.axis：排序沿数组的（轴）方向，0表示按行，1表示按列，None表示展开来排序，默认为-1，表示沿最后的轴排序。kind：排序的算法，提供了快排’quicksort’、混排’mergesort’、堆排’heapsort’， 默认为‘quicksort’。order：排序的字段名，可指定字段排序，默认
2020-10-31 15:00:56
123
原创 Datawhale组队学习numpy第4章数学函数及逻辑函数
import numpy as npx = np.array([0.0, 10.0, 20.0, 30.0])y = np.array([1.0, 2.0, 3.0])z = x[:, np.newaxis] + yprint(z)# [[ 1. 2. 3.]# [11. 12. 13.]# [21. 22. 23.]# [31. 32. 33.]][[ 1. 2. 3.] [11. 12. 13.] [21. 22. 23.] [31. 32. 33.]]x =
2020-10-28 20:52:10
296
原创 Datawhale组队学习numpy第3章数组的操作-变形
import numpy as npx = np.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], [26, 27, 28, 29, 30], [31, 32, 33, 34, 35]])y = x.flatprint(y)# <numpy.flatiter object at 0x00
2020-10-25 17:13:58
138
原创 Datawhale组队学习numpy第2章索引切片与迭代
import numpy as npx = np.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], [26, 27, 28, 29, 30], [31, 32, 33, 34, 35]])r = np.array([[0, 1], [3, 4]])print(x[r])# [[[11 12 1
2020-10-23 22:23:23
131
原创 Datawhale组队学习numpy第1章数据类型及数组创建
什么是numpy？numpy是python中基于数组对象的科学计算库。 提炼关键字，可以得出numpy以下三大特点： 拥有n维数组对象; 拥有广播功能（后面讲到）； 拥有各种科学计算API，任你调用；如何安装numpy？因为numpy是一个python库，所以使用python包管理工具pip或者conda都可以安装。 安装python后，打开cmd命令行，输入：import numpy as npnp.array([1,2,3]) #一维数组array([1, 2, 3])[[0
2020-10-20 22:32:32
294
2
原创 零基础入门金融风控-贷款违约预测作业5
5.1 学习目标将之前建模调参的结果进行模型融合。尝试多种融合方案，提交融合结果并打卡。（模型融合一般用于A榜比赛的尾声和B榜比赛的全程）5.2 内容介绍模型融合是比赛后期上分的重要手段，特别是多人组队学习的比赛中，将不同队友的模型进行融合，可能会收获意想不到的效果哦，往往模型相差越大且模型表现都不错的前提下，模型融合后结果会有大幅提升，以下是模型融合的方式。平均：简单平均法加权平均法投票：简单投票法加权投票法综合：排序融合log融合stacking:构建
2020-09-27 22:20:43
141
原创 零基础入门金融风控-贷款违约预测作业4
4.1 学习目标学习在金融分控领域常用的机器学习模型学习机器学习模型的建模过程与调参流程完成相应学习打卡任务4.2 内容介绍逻辑回归模型：理解逻辑回归模型；逻辑回归模型的应用；逻辑回归的优缺点；树模型：理解树模型；树模型的应用；树模型的优缺点；集成模型基于bagging思想的集成模型随机森林模型基于boosting思想的集成模型XGBoost模型LightGBM模型CatBoost模型模型对比与性能评估：回归模型/树模型
2020-09-24 23:25:12
249
原创 零基础入门金融风控-贷款违约预测作业3
3.1 学习目标学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法学习特征交互、编码、选择的相应方法完成相应学习打卡任务，两个选做的作业不做强制性要求，供学有余力同学自己探索3.2 内容介绍数据预处理缺失值的填充时间格式处理对象类型特征转换到数值异常值处理基于3segama原则基于箱型图数据分箱固定宽度分箱分位数分箱离散数值型数据分箱连续数值型数据分箱卡方分箱（选做作业）特征交互特征和特征之间组合特征和特征之间衍生其他特征衍生
2020-09-21 20:45:03
307
原创 零基础入门金融风控-贷款违约预测作业2
Task2 数据分析此部分为零基础入门金融风控的 Task2 数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约目的：1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.2.了解变量间的相互关系、变量与预测值之间的存在关系。3.为特征工程做准备项目地址：https://github.com/datawhal
2020-09-18 21:40:11
370
原创 零基础入门金融风控-贷款违约预测作业1
import numpy as npimport pandas as pdimport osos.chdir("G:\\datawhale\\finance")train = pd.read_csv('train.csv')testA = pd.read_csv('testA.csv')train.head() id loanAmnt term interestRate installment
2020-09-15 22:35:34
213
原创 Datawhale组队学习机器学习算法第二章
Step1: 库函数导入## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入决策树模型函数from sklearn.tree import DecisionTreeClassifierfrom sklearn import treeStep2: 训练模型##Demo演示LogisticRegression分类## 构造数据集x_fearures
2020-08-22 21:59:30
874
原创 Datawhale组队学习机器学习算法第一章
第一部分：Demo实践Step1：函数库导入## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑回归模型函数from sklearn.linear_model import LogisticRegression##Demo演示LogisticRegression分类## 构造数据集x_fearures = np.array([[-1, -2]
2020-08-17 21:06:00
333
原创 Datawhale组队学习动手学数据分析第一章
1.1载入数据任务1：导入numpy和pandasimport numpy as npimport pandas as pdimport os任务二：载入数据(1) 使用相对路径载入cwd = os.getcwd()os.chdir("D:\datasets\Titanic")df = pd.read_csv('train.csv')df.head() PassengerId Survived Pclass
2020-08-17 16:54:25
868
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人