- 博客(174)
- 资源 (1)
- 收藏
- 关注
原创 【每天值得看】文章获得《每天值得看》人工智能板块推荐第三名!为自己点个赞!!!
尽管在学术文献中“注意力”有多种定义,但我们在这里采用以下定义:注意力机制指的是基于输入查询和元素键动态计算权重的元素加权平均。具体来说,这意味着什么?摘要:文本转音频(TTS),与上一篇音频转文本(STT)是对称技术,给定文本生成语音,实际使用上,更多与语音克隆技术相结合:先通过一段音频(few-show)进行声音克隆,再基于克隆的音色和文本生成语音。摘要:尽管深度学习已经彻底改变了遥感图像场景分类,但当前基于深度学习的方法高度依赖于预定场景类别的大量监督,并且对于超出预定场景类别的新类别表现不佳。
2024-07-19 17:08:39
672
12
原创 【深度学习】PyTorch框架(6):GNN图神经网络理论和实践
本文深入探讨了神经网络在图结构数据处理中的应用,介绍了图的邻接矩阵和边列表表示方法,以及图卷积网络(GCN)和图注意力网络(GAT)的实现。实践表明,图信息对提升预测模型性能至关重要,GNNs在社交网络、生物信息学、交通优化和推荐系统等领域具有巨大潜力,未来在AI领域将扮演更重要角色。
2024-07-19 16:50:04
2520
原创 【深度学习】PyTorch框架(5):Transformer和多注意力机制
本文深入探讨了多头注意力层,它通过缩放点积找到输入间相关性,是Transformer架构核心。Transformer广泛应用于多领域,不仅限于NLP。其置换等变性质拓展了应用场景。然而,理解其潜在问题如学习率预热解决初期梯度问题同样关键。对Transformer架构研究感兴趣的读者,建议查阅文中提及的博客以深入了解。Transformer作为强大架构,其探索与应用前景广阔。
2024-07-18 15:00:15
1443
6
原创 【深度学习】PyTorch框架(4):初始网络、残差网络 和密集连接网络
本文详细介绍并实现了GoogleNet、ResNet和DenseNet三种现代卷积神经网络架构,使用PyTorch Lightning框架简化了代码并提高了训练效率。通过TensorBoard可视化训练过程,对比分析了各模型在CIFAR-10数据集上的表现。结果显示,ResNet在验证集上表现最佳,而DenseNet在参数数量上更为高效。文章建议新任务从ResNet开始尝试,对于复杂任务则推荐使用ResNet或DenseNet的复杂变体。
2024-07-17 17:35:12
1563
5
原创 【深度学习】PyTorch框架(3):优化与初始化
在文中,我们讨论了神经网络的初始化和优化技术。我们看到良好的初始化必须平衡保持梯度方差和激活方差。这可以通过使用Xavier初始化实现对于基于tanh的网络,以及使用Kaiming初始化实现对于基于ReLU的网络。在优化方面,动量和自适应学习率等概念可以帮助应对具有挑战性的损失曲面,但并不能保证神经网络性能的提升。
2024-07-16 14:05:17
891
3
原创 【深度学习】PyTorch框架(2):激活函数
本文综述了六种激活函数(sigmoid、tanh、ReLU系列)在神经网络中的效果。Sigmoid因梯度饱和易致深层网络梯度消失。ReLU及其变种则表现优异,除基础ReLU外,均避免了死神经元问题。建议初学者从ReLU网络入手,并根据网络特性调整激活函数。选择合适的激活函数对优化神经网络性能和梯度传播至关重要。
2024-07-15 17:23:34
1536
2
原创 【深度学习】PyTorch框架(1):PyTorch基础
本文是一份针对2023年阿姆斯特丹大学深度学习课程的PyTorch入门教程,旨在为学员提供PyTorch的基础知识并指导他们搭建自己的神经网络。文中介绍了PyTorch的特点、张量操作、神经网络构建、训练过程、模型保存与评估,以及如何使用TensorBoard进行可视化。通过一个连续空间的XOR示例,展示了如何从头开始构建并训练一个简单的神经网络,并通过动态计算图和反向传播进行模型优化。此外,还讨论了GPU在加速神经网络训练中的作用,以及如何利用PyTorch的分布式通信包进行多GPU训练。
2024-07-12 13:42:25
1047
9
原创 【深度学习】图形模型基础(7):机器学习优化中的方差减少方法(2)
随机优化中,方差降低技术(VR方法)自近八年崛起,显著提升了随机梯度下降算法(SGD)的收敛速度。VR方法允许多次迭代训练数据,理论与实践均优于传统SGD。本文概述VR方法在有限数据集优化中的关键原则与进展,针对非专家,聚焦凸优化环境,并引导读者探索非凸函数最小化的扩展领域。VR方法的快速发展展现了其在机器学习中的巨大潜力与前景。
2024-07-11 13:14:55
1256
4
原创 【深度学习】图形模型基础(7):机器学习优化中的方差减少方法(1)
随机优化中,方差降低技术(VR方法)自近八年崛起,显著提升了随机梯度下降算法(SGD)的收敛速度。VR方法允许多次迭代训练数据,理论与实践均优于传统SGD。本文概述VR方法在有限数据集优化中的关键原则与进展,针对非专家,聚焦凸优化环境,并引导读者探索非凸函数最小化的扩展领域。VR方法的快速发展展现了其在机器学习中的巨大潜力与前景。
2024-07-11 13:14:28
1181
原创 【深度学习】图形模型基础(6):模型优化理论
模型优化理论关注提升模型性能、准确性和效率。SGD(随机梯度下降)是其关键算法之一,通过随机选取样本计算梯度并更新模型参数,以提高训练速度和适用性。SGD尤其适合大规模数据集,但可能因梯度噪声导致收敛波动。改进算法如动量法和自适应学习率算法(如Adam)进一步加速收敛并提升精度。总之,模型优化理论和SGD是机器学习不可或缺的工具,助力提升模型性能,推动深度学习发展。
2024-07-10 17:54:48
1121
2
原创 【深度学习】图形模型基础(5):线性回归模型第五部分:多变量线性回归模型
本文探讨了线性回归在社会科学和自然科学中的应用,并介绍了如何使用R语言进行回归分析。文中讨论了预测变量的选择、系数解释、变量间交互作用以及构建新预测变量等挑战。通过一系列实例,包括母亲教育水平和智商对孩子测试分数影响的模型,阐释了如何构建和理解回归模型。此外,还介绍了多层次建模、加权回归、广义最小二乘法以及如何将同一模型应用于多个数据集的方法。最后,文章强调了理解数据、准确预测结果和有效应对模型复杂性的重要性。
2024-07-09 13:12:51
1681
23
原创 【深度学习】图形模型基础(5):线性回归模型第四部分:预测与贝叶斯推断
本文探讨了贝叶斯推断的三个关键:结合数据形成后验分布、模拟传播不确定性、应用先验整合信息。以选举预测为例,展示`stan_glm`模拟验证参数估计。讨论了回归系数不确定性和预测分布构建,强调数据量少时先验信息的重要性。美貌与性别比案例显示信息先验提升预测准确性。推荐资源深入贝叶斯思想与方法。贝叶斯推断灵活强大,处理复杂模型时通过模拟提供深入分析,结合先验与数据,为不确定性研究提供有效工具。
2024-07-06 17:44:58
1020
19
原创 【深度学习】图形模型基础(5):线性回归模型第三部分:线性回归模型拟合
本文为读者提供了一个全面的回归分析指南,涵盖了从单变量线性回归到更复杂的模型,包括多变量、非线性模型以及在预测和因果推断中的应用。文中介绍了最小二乘法、最大似然估计和贝叶斯推断,解释了它们的数学结构和如何使用stan_glm进行贝叶斯回归分析。此外,还探讨了个别数据点对回归拟合的影响,以及如何通过加权平均斜率来理解最小二乘估计。最后,讨论了使用lm和stan_glm拟合函数的比较,以及置信区间、不确定性区间和兼容性区间的概念,并提供了相关文献以供深入研究。
2024-07-06 12:26:58
1339
9
原创 【深度学习】图形模型基础(5):线性回归模型第二部分:单变量线性回归模型
本文深入探讨了线性回归在统计学与机器学习中的应用,重点介绍了单变量线性回归模型的构建与应用。通过分析经济增长与总统选举投票份额的关系,展示了如何使用线性模型进行预测,并在R环境中实现模型的拟合与评估。文章还讨论了模型系数的解释、残差标准差的意义以及通过模拟数据验证模型的稳健性。此外,介绍了如何将比较转化为回归模型,并用指标变量进行分析,最后提供了相关研究的文献来源,为读者提供了进一步学习的资源。
2024-07-05 16:17:13
1210
18
原创 【深度学习】图形模型基础(5):线性回归模型第一部分:认识线性回归模型
本文深入探讨了回归分析的多个方面,从基本的线性回归模型定义到复杂模型的扩展形式,包括非线性、非加性、广义线性模型等。使用R语言和`rstanarm`包,我们演示了如何拟合线性回归模型,并通过模拟数据集来解释模型参数。文章还讨论了回归系数的正确解释,强调它们应被视为样本内的平均比较,而非直接的因果效应。此外,探讨了平均回归的历史背景和其在因果推断中的误区,并通过飞行员训练的例子阐释了这一点。最后,提供了相关研究的文献来源,为有兴趣深入了解的读者提供了资源。
2024-07-05 14:37:41
1516
12
原创 【深度学习】图形模型基础(4):回归模型理论基础——统计、数据分析与回归分析
本文探讨了统计学在数据分析中的核心作用,尤其在不完美数据处理和有用信息提炼方面。概述了统计学通过随机过程处理数据缺失,强调其在科学领域中的重要性。深入讨论了线性回归分析及其扩展技术,如核平滑器和k-最近邻回归,提供灵活的数据拟合与预测。探讨了偏差-方差权衡、自由度和协方差等关键概念。最后,介绍了传统及现代不依赖高斯假设的推断统计方法,如非参数统计和自助法,拓宽了统计分析的应用范围,特别适用于非正态分布数据。
2024-07-03 14:28:45
1131
4
原创 【深度学习】调整加/减模型用于体育运动评估
调整加/减模型,基于因果关系量化团队运动中个人贡献。模型通过替换球员后预期得分变动来评估其价值,采用因子建模技术剥离混杂因素,精确估算球员真实价值。该模型已应用于足球和篮球数据,为运动员评价、团队构建和策略制定提供科学依据。模型解决了间接测量问题,为体育分析领域带来新视角和方法。
2024-07-01 19:11:46
2012
9
原创 【深度学习】图形模型基础(3):从零开始认识机器学习模型
在本文中,我们探讨了基于模型的机器学习核心理念,比较了其与传统方法的优势。该方法能定制并优化模型,满足特定应用需求,提升效率和准确性。我们构建了基于概率图模型和局部消息传递的框架,支持模型化机器学习实践。同时,介绍了概率编程环境,如Infer.NET,为模型构建和测试提供强大工具。展望未来,随着数据驱动计算的进步,模型化机器学习和概率编程将展现巨大潜力,为计算领域带来深远影响。
2024-06-30 12:35:19
1000
11
原创 【深度学习】图形模型基础(2):概率机器学习模型与人工智能
概率建模在机器学习中至关重要,它利用概率分布表达不确定性,通过贝叶斯学习从数据中学习。非参数方法、概率编程、贝叶斯优化和数据压缩等技术展示了概率建模的灵活性和效率。自动建模系统能够发现并解释数据模型。随着大数据的增长,不确定性建模依然关键。概率建模将在未来机器学习和人工智能系统中发挥核心作用,为自动化复杂建模和优化提供强大工具。
2024-06-29 15:21:16
1265
5
原创 【深度学习】图形模型基础(1):使用潜在变量模型进行数据分析的box循环
本文详细介绍了概率模型在数据分析中的应用,特别是潜在变量模型的重要性和构建方法。文中探讨了如何使用均场变分推断对复杂模型进行后验分布的近似推断,并强调了模型批评在迭代模型构建过程中的关键作用。此外,还讨论了模型评估的策略,包括预测样本重用和后验预测检验。最后,文章总结了Box循环在概率建模中的核心地位,以及面对新数据和问题时不断改进模型的必要性。
2024-06-28 15:28:31
2305
19
原创 【深度学习】基于深度离散潜在变量模型的变分推理
本文探讨了深度学习在概率建模中的应用,重点介绍了变分自编码器(VAE)和神经变分推断(NVIL)。首先,介绍了模型构建的关键组件,包括先验网络和条件概率分布网络。接着,详细说明了使用最大似然估计和变分推断方法进行模型训练的过程。最后,提供了模型评估与可视化方法,帮助读者深入理解模型性能和内部机制。整体而言,本文为深度学习在概率建模领域的应用提供了一套完整的流程。
2024-06-27 09:47:36
1428
4
原创 机器学习原理和代码实现专辑
1. 定义与目标机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径。2. 方法机器学习算法构建一个基于样本数据的数学模型,称为“训练数据”,以便在没有明确编程来执行任务的情况下进行预测或决策。机器学习算法分为多种类型,如监督学习、无监督学习和强化学习等。3. 应用。
2024-06-26 20:59:15
901
2
原创 【深度学习】基于因果表示学习的CITRIS模型原理和实验
我们深入探讨了CITRIS,这是一种能从干预图像序列中识别因果变量的先进方法。我们阐述了因果表示学习的概念与其重要性,并详细解析了CITRIS的工作原理。实验表明,CITRIS能准确分解3D渲染对象的因果因素,并在图像空间中实施干预。展望未来,因果性在弥补统计机器学习不足方面具有巨大潜力,我们坚信其在机器学习发展中将发挥越来越重要的作用。
2024-06-26 13:01:10
1392
2
原创 【机器学习】图神经网络(NRI)模型原理和运动轨迹预测代码实现
NRI模型利用VAE和GNN从观测数据中学习系统动态和交互图,展现出在无监督学习、图结构建模、多步预测和连续松弛方面的强大能力。未来工作可探索动态图结构学习、应用于更复杂系统、提高模型泛化能力和计算效率,以及与其他模型的结合。NRI作为新兴的图神经网络方法,在理解和预测相互作用系统方面潜力巨大,有望在各领域发挥重要作用。
2024-06-25 09:51:12
1959
26
原创 【机器学习】基于Gumbel-Sinkhorn网络的“潜在排列问题”求解
本文提出了基于Sinkhorn网络的排列学习方法,成功应用于图像解混等任务。该方法利用Gumbel-Sinkhorn分布和Sinkhorn卷积网络,实现端到端的排列预测。尽管成果显著,仍有提升空间,如探索更复杂的网络结构、应用多模态数据、结合强化学习等。Sinkhorn网络在潜在排列学习领域展现出巨大潜力,期待未来能在基因序列分析、社交网络分析等实际问题中取得更多创新和突破。
2024-06-25 08:11:32
1413
5
原创 【机器学习】基于Gumbel Top-k松弛技术的图形采样
本文主要探讨了深度学习中的可微分子集采样,特别是Gumbel Top-k松弛技术。该技术可在保持模型可微性的同时从候选元素中选择重要子集。通过SubsetOperator类和Gumbel分布实现连续的Top-k选择,并将其应用于k最近邻分类问题。实验使用PyTorch框架,在MNIST数据集上验证方法的有效性,经过20周期训练,模型达到约99.3%的测试准确率。
2024-06-24 15:58:46
1270
1
原创 【机器学习】基于Softmax松弛技术的离散数据采样
本文介绍了Gumbel-Softmax技巧,它允许在深度学习模型中对离散变量进行可微分采样。通过结合Gumbel噪声和softmax函数,该技巧使得梯度能够流经离散采样步骤,有效应用于变分自编码器(VAE)等模型。文章还探讨了Softmax松弛技术,通过温度参数控制采样的随机性,以及如何使用直通估计器处理离散输入。最后,讨论了Gumbel-Softmax在深度学习中的潜在应用和未来研究方向,为开发智能AI系统提供了新的可能性。
2024-06-22 17:06:55
2139
14
原创 【机器学习】正则卷积群理论及Python代码实现
本文介绍了CNN和GCNN的理论与实现。CNN关键概念包括卷积、激活和池化,并在PyTorch中实现。GCNN基于群论,使用PyTorch Lightning构建。通过`DataModule`和`train_model`函数简化模型创建与训练。实验表明,GCNN在处理旋转图像时泛化能力更强,归因于其等变性。我们还探讨了通过投影操作提高模型泛化性能的方法。
2024-06-22 13:52:32
1099
1
原创 【机器学习】深度概率模型(DPM)原理和文本分类实践
# 9. 总结与展望本文全面探讨了深度概率模型(DPMs),涵盖其理论基础、模型构建、参数估计、决策规则及实践应用。DPMs结合深度学习与概率论,在不确定性建模和数据生成方面展现优势。未来,DPMs将向提高泛化能力、计算效率、多模态学习、强化学习集成等方向发展,同时强调可解释性、跨领域应用和伦理隐私。读者可全面理解DPMs并应用于实际问题,期待技术带来更多创新突破。
2024-06-21 17:15:00
1908
3
原创 【机器学习】基于稀疏识别方法的洛伦兹混沌系统预测
本文探讨了SINDy算法及其在非线性动力学系统识别中的应用。SINDy通过稀疏线性回归识别控制方程,强调模型可解释性和泛化能力。通过选择基函数库和优化器,以线性动态系统和洛伦兹吸引子为例验证了SINDy的有效性。尽管面临数据质量、变量选择和特征库构建等挑战,但SINDy仍展现出在复杂系统中应用的潜力。随着研究深入,SINDy有望在更多领域发挥重要作用。
2024-06-20 18:15:14
2246
14
原创 【机器学习】Transformer框架理论详解和代码实现
本文深入探讨了Transformer模型及其在自然语言处理(NLP)和其他领域的应用。自2017年Vaswani等人提出以来,Transformer模型凭借其自注意力机制,在多个NLP任务上取得了突破性进展。文章首先介绍了Transformer模型的背景和开发动机,随后详细阐述了模型的结构和工作原理,包括多头注意力、位置编码以及学习率预热等关键技术。
2024-06-20 15:26:10
3001
28
原创 【机器学习】基于RoBERTa模型的句子嵌入实践
本研究成功通过孪生网络结构微调RoBERTa模型,优化了其在语义相似性任务中的句子嵌入性能。自定义的三元组损失函数助力模型精准区分语义相近和相异的句子对。经STSB数据集验证,微调模型在聚类任务中展现了卓越的语义捕捉能力。未来,将致力于提升模型泛化性,探索多任务学习,增强跨语言和领域适应性。同时,研究模型压缩技术,提高部署效率,确保模型公平性和伦理性,推动NLP技术的广泛应用和深入发展。
2024-06-19 17:33:41
2232
7
原创 【机器学习】计算机图形和深度学习模型NeRF详解(2)
本文深入探讨了Neural Radiance Fields(NeRF)技术,一种能从2D图像重建3D场景的突破性方法。文章详细介绍了NeRF的理论基础、数据输入流程、射线生成、采样点设置、MLP架构以及体积渲染技术。通过光度损失函数优化模型,实现多视角一致性。附带的代码示例和实践练习进一步帮助读者理解并应用NeRF技术。作为系列教程的一部分,本文为希望掌握NeRF的读者提供了宝贵的资源和指导。
2024-06-19 15:43:04
1106
原创 【机器学习】使用Perceiver模型解决Transformer效率低下问题
Perceiver模型以其独特的架构,有效解决了高维输入数据的处理难题。通过引入Latent Bottleneck和非对称注意力机制,它显著降低了计算复杂度,同时保持了高性能。展望未来,Perceiver模型在多模态学习、大规模数据集应用、模型压缩和加速、跨领域适应性、模型解释性以及持续优化等方面具有巨大潜力。我们期待其能在更多领域发挥作用,推动AI技术的进一步发展。随着技术的不断进步,Perceiver模型有望展现出更广阔的应用前景。
2024-06-18 18:47:50
1139
16
原创 【机器学习】对大规模的文本数据进行多标签的分类处理
本文全面探讨了多标签文本分类在自然语言处理中的应用。我们介绍了其背景、重要性、数据预处理、模型构建、训练和评估过程。通过多层感知器模型,结合ReLU和Sigmoid函数,我们实现了高效的多标签分类。模型在测试集上表现良好,展示了其泛化能力。展望未来,多标签文本分类将受益于模型优化、多任务学习和深度学习技术的发展,但同时需重视模型的可解释性和公平性。随着技术的创新,我们期待该技术将在更多领域展现其应用潜力。
2024-06-18 10:32:35
3032
15
原创 【机器学习】基于顺序到顺序Transformer机器翻译
本文深入探讨了序列到序列(Seq2Seq)模型和Transformer架构在机器翻译任务中的应用。通过编码器和解码器的工作流程,Seq2Seq模型有效处理了不同长度的序列转换问题。Transformer模型以其自注意力机制和并行处理能力,在处理长距离依赖时表现卓越。文中还介绍了模型的实现细节、数据预处理、向量化、模型训练和序列解码的完整流程。
2024-06-17 18:21:49
1731
15
原创 【机器学习】计算机图形和深度学习模型NeRF详解(1)
本文深入探讨了计算机图形学基础,为掌握NeRF技术铺路。核心要点包括正向成像模型、3D到3D及3D到2D的转换。这些基础概念不仅帮助我们理解数据集,也满足了学习NeRF的前提。接下来,我们将深入NeRF论文《将场景表示为神经辐射场以进行视图合成》的理论,并利用TensorFlow和Python将其付诸实践。我们期待你的参与和实践,一同探索NeRF的奥秘。
2024-06-17 12:58:13
1621
12
原创 【机器学习】基于NeRF的3D动画渲染
NeRF作为3D重建与渲染技术,从二维图像中恢复三维场景,实现高质量3D渲染。其优势在于高质量重建和逼真渲染,但面临计算成本高、数据依赖强等挑战。未来,NeRF可望在计算效率、数据需求、动态场景支持等方面改进,并提升光线交互和泛化能力。同时,结合多模态数据开发交互式应用,加强工业与学术合作,推动NeRF在图形学、VR/AR等领域发挥更大作用,为用户带来更丰富、逼真的三维视觉体验。
2024-06-16 13:38:51
1815
18
原创 【机器学习】基于Transformer架构的移动设备图像分类模型MobileViT
MobileViT模型结合了Transformer和CNN的优势,为移动设备图像分类提供了高效轻量级的解决方案。其通过轻量化设计和有效降维策略,在多个数据集上展现出卓越性能。未来,MobileViT可进一步优化模型结构、扩展至多任务学习、探索跨领域应用,并增强鲁棒性和实时性能。通过模型压缩与加速技术,减少模型大小并加速推理过程。开源社区的合作将推动MobileViT的进一步开发和应用,为移动视觉领域带来更大贡献。
2024-06-16 12:16:21
2082
12
原创 【深度学习】基于EANet模型的图像识别和分类技术
EANet,一种结合Transformer与外部注意力的深度学习模型,适用于图像分类等任务。通过外部存储器降低计算复杂度,提升性能,并展现强泛化能力与可扩展性。文章详述了模型技术特点、结构和实现,可视化展示了其泛化能力。未来,EANet有望在模型优化、多任务学习及跨领域应用中发挥重要作用,提高计算效率和泛化能力,并通过开源社区推动其发展。
2024-06-15 17:14:19
1681
4
Reparameterizable Subset Sampling via Continuous Relaxations
2024-06-24
使用EfficientNet实现Standford dog分类
2024-06-02
Keras深度学习框架第九讲:保存、序列化以及导出模型源代码
2024-05-17
Keras深度学习框架第十二讲:迁移学习与微调源代码
2024-05-17
Keras深度学习框架第八讲:编写自定义训练和评估循环配套代码tensorflow
2024-05-17
Keras深度学习框架第八讲:编写自定义训练和评估循环配套代码Pytorch
2024-05-17
Keras深度学习框架第八讲:编写自定义训练和评估循环配套代码jax
2024-05-17
Keras深度学习框架第十讲:自定义保存和序列化配套代码
2024-05-17
Keras深度学习框架第十一讲:构建自定义回调函数(callback)配套代码
2024-05-17
ARM微控制器使用FSMC 硬件直接驱动TFT-LCD代码
2024-05-11
汽车控制器电压监控功能规范
2024-04-28
ISO 26262 -3 道路车辆-功能安全-第三部分-功能安全概念设计
2024-04-26
ISO 26262-4 道路车辆-功能安全-系统级产品开发
2024-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人