- 博客(39)
- 收藏
- 关注
RSS订阅原创 BANANAS: Bayesian Optimization with Neural Architectures forNeural Architecture Search
在过去的五年中，许多方法已被考虑用于神经架构搜索（NAS）。贝叶斯优化（BO）在超参数优化中长期取得了成功，并且当与神经预测器结合时，最近已成为一种非常有前景的NAS策略。近期的工作提出了该框架的不同实现，例如，使用贝叶斯神经网络或图卷积网络作为BO中的预测模型。然而，这些论文中的分析通常集中在完整的NAS算法上，因此很难判断框架中哪些单独的组件导致了最佳的性能。
2025-04-01 20:10:07
935
原创 （更新ing）A Training-Free Neural Architecture SearchAlgorithm Based on Search Economics
鉴于大多数神经结构搜索 (NAS) 方法非常耗时，因为需要一个“训练过程”来评估每个搜索到的神经结构，本文提出了一种高效的 NAS 算法，该算法基于一种很有前途的元启发式算法——搜索经济学 (SE) 和一种新的免训练估计器来评估搜索到的神经结构，不仅可以获得良好的神经结构，还可以加快计算时间。所提出的 NAS 算法的基本思想是使用搜索空间中每个区域所谓的期望值来指导搜索，以便它专注于搜索高潜力区域，而不是搜索特定区域中具有高目标值的解决方案。
2025-03-29 16:53:12
831
原创 （更新ing）A Training-Free Neural Architecture SearchAlgorithm Based on Search Economics
鉴于大多数神经结构搜索 (NAS) 方法非常耗时，因为需要一个“训练过程”来评估每个搜索到的神经结构，本文提出了一种高效的 NAS 算法，该算法基于一种很有前途的元启发式算法——搜索经济学 (SE) 和一种新的免训练估计器来评估搜索到的神经结构，不仅可以获得良好的神经结构，还可以加快计算时间。所提出的 NAS 算法的基本思想是使用搜索空间中每个区域所谓的期望值来指导搜索，以便它专注于搜索高潜力区域，而不是搜索特定区域中具有高目标值的解决方案。
2025-03-29 15:54:15
289
原创 （更新ing）A Generic Graph-Based NeuralArchitecture Encoding Schemefor Predictor-Based NAS
本研究提出了一种新的基于图的神经架构编码方案，即 GATES，旨在改进基于预测器的神经架构搜索。具体而言，与现有的基于图的方案不同，GATES 将操作建模为传播信息的变换，这模仿了神经架构中实际的数据处理过程。GATES 是一种更合理的神经架构建模方法，能够一致地对来自“节点操作”和“边操作”单元搜索空间的架构进行编码。在各种搜索空间上的实验结果证实了 GATES 在提高性能预测器方面的有效性。此外，借助改进的性能预测器，基于预测器的神经架构搜索（NAS）流程的样本效率得到了提升。
2025-03-27 20:02:01
683
原创 （更新完）AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search
免训练网络架构搜索 (NAS) 旨在发现具有零成本代理的高性能网络，捕捉与最终性能相关的网络特征。然而，以前的免训练 NAS 方法估计的网络排名与性能的相关性较弱。为了解决这个问题，我们提出了 AZ-NAS，这是一种新方法，它利用各种零成本代理的集合来大大增强网络预测排名与基本事实之间的相关性，在性能方面。为了实现这一点，我们引入了四个相互补充的新型零成本代理，从表现力、进步性、可训练性和复杂性的角度分析了架构的不同特征。代理分数可以在一次前向和后向传递中同时获得，从而使整个 NAS 过程非常高效。
2025-03-24 11:05:55
1413
原创 （一）AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search
免训练网络架构搜索 (NAS) 旨在发现具有零成本代理的高性能网络，捕捉与最终性能相关的网络特征。然而，以前的免训练 NAS 方法估计的网络排名与性能的相关性较弱。为了解决这个问题，我们提出了 AZ-NAS，这是一种新方法，它利用各种零成本代理的集合来大大增强网络预测排名与基本事实之间的相关性，在性能方面。为了实现这一点，我们引入了四个相互补充的新型零成本代理，从表现力、进步性、可训练性和复杂性的角度分析了架构的不同特征。代理分数可以在一次前向和后向传递中同时获得，从而使整个 NAS 过程非常高效。
2025-03-18 18:41:38
797
原创 （更新中）PATNAS: A Path-Based Training-Free NeuralArchitecture Search
评估网络架构的高成本阻碍了神经架构搜索 (NAS) 的发展。最近，提出了几种零成本代理，作为一种有前途的方法，以降低 NAS 中网络架构的评估成本。它们可以在初始阶段的几秒钟内快速估计网络的最终性能。然而，现有的零成本代理要么忽略了网络结构对性能的影响，要么仅限于特定任务。为了解决这些问题，我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理，它利用整个网络架构的骨架路径结构信息。然后，我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中，并证明其在不同数据集上的有效性。
2025-03-17 19:42:55
947
原创 （下一个更新）PATNAS: A Path-Based Training-Free NeuralArchitecture Search
最近，提出了几种零成本代理，作为一种有前途的方法，以降低 NAS 中网络架构的评估成本。然而，现有的零成本代理要么忽略了网络结构对性能的影响，要么仅限于特定任务。为了解决这些问题，我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理，它利用整个网络架构的骨架路径结构信息。然后，我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中，并证明其在不同数据集上的有效性。结果表明，我们提出的 SPKT 零成本代理可以在多个任务中与网络的最终性能实现高度相关。
2025-03-16 16:30:00
185
原创 Neural Architecture Search for Transformers:A Survey
基于 Transformer 的深度神经网络架构因其在自然语言处理 (NLP) 和计算机视觉 (CV) 领域的各种应用中的有效性而引起了极大的兴趣。这些模型是多种语言任务（例如情绪分析和文本摘要）的实际选择，取代了长短期记忆 (LSTM) 模型。视觉 Transformer (ViTs) 在视觉应用中表现出比传统卷积神经网络 (CNN) 更好的模型性能，同时需要更少的参数和训练时间。针对给定任务和数据集的神经架构设计流程极具挑战性，因为它需要多个跨学科领域的专业知识，例如信号处理、图像处理、优化和相关领域。
2025-03-15 18:00:00
255
原创 Training-free neural architecture search: A review
神经架构搜索 (NAS) 的目标是缩小深度神经网络 (DNN) 的神经架构和模型，调整神经架构以改善其最终结果，甚至加快整个训练过程。这样的改进使得在小型设备（例如物联网设备或无线传感器网络）上生成或安装 DNN 模型成为可能。由于大多数 NAS 算法都非常耗时，因此寻找降低其计算成本的方法已成为一个关键的研究问题。无需训练的方法（也称为零样本学习）提供了一种替代方法，可以在 NAS 过程中更有效地评估神经架构的好坏，方法是使用轻量级的评分函数代替一般的训练过程，以避免产生高昂的成本。
2025-03-15 16:00:00
244
原创 Training-free Neural Architecture Searchthrough Variance of Knowledge of Deep Network Weights（预览版本）
深度学习彻底改变了计算机视觉，但它使用深度网络架构取得了巨大的成功，而这些架构大多是手工制作的，因此可能不是最优的。神经架构搜索 (NAS) 旨在通过遵循明确定义的优化范式来弥合这一差距，该范式系统地寻找最佳架构，给定客观标准，例如最大分类准确度。然而，NAS 的主要限制是其天文数字般的计算成本，因为它通常需要从头开始训练每个候选网络架构。在本文中，我们旨在通过基于 Fisher 信息提出一种新的无需训练的图像分类准确度代理来缓解这一限制。
2025-03-14 15:30:19
258
原创 Extensible and Efficient Proxy for Neural Architecture Search（预览版本）
最近提出了高效或接近零成本的代理，以解决深度神经网络 (DNN) 设计中神经架构搜索 (NAS) 的苛刻计算问题，其中每个候选架构网络只需要一次反向传播迭代。从代理获得的值用作下游任务架构性能的预测。然而，两个重大缺点阻碍了这些高效代理的广泛采用：(1) 它们不适应各种 NAS 搜索空间；(2) 它们不能扩展到多模态下游任务。为了解决这两个问题，我们首先提出了一个可扩展代理 (Eproxy)，它利用自监督、少量训练来实现接近零成本。
2025-03-14 15:27:04
327
原创 Deep Architecture Connectivity Matters for ItsConvergence: A Fine-Grained Analysis
无论是人工设计还是 AutoML 算法设计的高级深度神经网络 (DNN) 都变得越来越复杂。各种操作通过复杂的连接模式连接起来，例如各种类型的跳跃连接。这些拓扑组合在经验上是有效的，并且观察到可以平滑损失图并促进梯度流动。然而，仍然很难从原则上理解它们对 DNN 容量或可训练性的影响，也很难理解为什么或在哪个方面一种特定的连接模式比另一种更好。在这项工作中，我们从理论上描述了连接模式对梯度下降训练下 DNN 收敛的影响。
2025-03-13 18:53:19
194
原创 Zero-Cost Operation Scoring in Differentiable Architecture Search（预览版本）
我们形式化并分析了可微分神经架构搜索 (NAS) 的一个基本组成部分：每个操作选择时的局部“操作评分”。我们将现有的操作评分函数视为准确性的不精确代理，并且我们发现在 NAS 基准上进行实证分析时，它们表现不佳。从这个角度来看，我们引入了一种新颖的基于扰动的零成本操作评分 (Zero-Cost-PT) 方法，该方法利用了最近在多次试验 NAS 中研究过的零成本代理，但在可微分 NAS 的典型较大搜索空间中性能会显著下降。
2025-03-13 16:50:57
226
原创 Efficient Multi-Objective Neural Architecture Search via ParetoDominance-based Novelty Search（预览版本）
传统的基于目标的 NAS 方法通常会优化某个性能指标（例如，预测准确性），而忽略了可能包含有趣网络配置的大部分架构搜索空间。此外，在复杂的搜索空间中，基于目标驱动的基于种群的元启发式方法通常会很快耗尽种群多样性并屈服于过早收敛到局部最优。当性能目标与候选架构的实际性能不完全一致时，这个问题在 NAS 中变得更加复杂，而无训练指标通常就是这种情况。与优化明确目标的传统 NAS 方法不同，MTF-PDNS 利用基于多个无需训练的性能和复杂性指标计算出的新颖性得分来促进种群多样性，从而更广泛地探索搜索空间。
2025-03-12 19:21:13
230
原创 AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search（预览版本）
为了解决这个问题，我们提出了 AZ-NAS，这是一种新方法，它利用各种零成本代理的集合来大大增强网络预测排名与基本事实之间的相关性，在性能方面。为了实现这一点，我们引入了四个相互补充的新型零成本代理，从表现力、进步性、可训练性和复杂性的角度分析了架构的不同特征。为了有效地整合我们的代理预测的排名，我们引入了一种非线性排名聚合方法，突出显示在所有代理中始终排名较高的网络。实验结果最终证明了 AZ-NAS 的有效性和效率，在标准基准上的表现优于最先进的方法，同时保持合理的运行成本。
2025-03-12 19:14:21
312
原创 Extensible and Efficient Proxy for Neural Architecture Search（预览版本）
我们 Eproxy 效率的一个关键组成部分是引入了一个具有随机初始化的冻结卷积参数的屏障层，这为优化空间添加了非线性，以便 Eproxy 可以在早期阶段区分架构的性能。在具有七个任务的 NAS-Bench-Trans-Micro 搜索空间中，Eproxy+DPS 提供与早期停止方法相当的性能（快 146 倍）。对于 DARTS-ImageNet-1k 等端到端任务，我们的方法比在 CIFAR-10 上执行的 NAS 提供更好的结果，同时只需要一个 GPU 小时和一批 CIFAR-10 图像。
2025-03-11 14:57:04
262
原创 ETAS: Zero-Shot Transformer Architecture Search via NetworkTrainability and Expressivity（预览版本）
Transformer 架构搜索 (TAS) 方法旨在自动搜索给定任务的最佳 Transformer 架构配置。然而，评估 Transformer 架构的成本过高阻碍了它们的发展。最近，已经提出了几种 Zero-Shot TAS 方法来缓解这个问题，即利用零成本代理来评估 Transformer 架构而无需训练。不幸的是，它们仅限于特定的计算机视觉或自然语言处理任务。尽管如此，它们中的大多数都是基于经验观察而开发的，缺乏理论保证。
2025-03-11 14:52:11
218
原创 （完结）PreNAS: Preferred One-Shot Learning Towards Efficient Neural Architecture Search
预训练模型的广泛应用推动了一次性神经架构搜索 (NAS) 中一次性训练的趋势。然而，在巨大的样本空间内进行训练会损害各个子网络的性能，并且需要大量计算来搜索最佳模型。在本文中，我们提出了 PreNAS，这是一种无搜索 NAS 方法，可在一次性训练中突出目标模型。具体而言，通过零成本选择器提前大幅减少样本空间，并在首选架构上执行权重共享一次性训练以缓解更新冲突。
2025-03-10 19:32:02
2207
原创 （马上更新）Training-Free Transformer Architecture Search WithZero-Cost Proxy Guided Evolution
本文提出了一种有效的 TAS 方案，称为零成本代理引导进化的 Transformer 架构搜索 (T-Razor)，可实现卓越的效率。DSS ++确定突变和交叉的位置，增强了探索能力。实验结果表明，我们的T-Razor在四个流行的Transformer搜索空间中的表现与最先进的手动或自动设计的Transformer架构相媲美。显着的是，T-Razor提高了不同Transformer搜索空间中的搜索效率，例如，将所需的GPU天数从超过24天减少到不到0.4天，并且优于现有的零成本方法。
2025-03-10 09:19:04
654
1
原创 Training-free Neural Architecture Searchthrough Variance of Knowledge of Deep Network Weights（预览版本）
深度学习彻底改变了计算机视觉，但它使用深度网络架构取得了巨大的成功，而这些架构大多是手工制作的，因此可能不是最理想的。神经架构搜索 (NAS) 旨在通过遵循明确定义的优化范式来弥补这一差距，该范式系统地寻找最佳架构，给定客观标准，例如最大分类准确度。然而，NAS 的主要限制是其天文数字般的计算成本，因为它通常需要从头开始训练每个候选网络架构。在本文中，我们旨在通过基于 Fisher 信息提出一种新的无需训练的图像分类准确度代理来缓解这一限制。
2025-03-09 19:47:11
264
原创 Training-free Neural Architecture Search for RNNs and Transformers（预览版本）
最近的研究调查了图像分类架构的无训练 NAS 指标，大大加快了搜索算法的速度。在本文中，我们研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 Transformer 架构的无训练 NAS 指标。首先，我们开发了一种新的无训练指标，称为隐藏协方差，它可以预测 RNN 架构的训练性能，并且明显优于现有的无训练指标。这一结论基于我们对现有免训练指标和近期 Transformer 剪枝文献中开发的新指标的研究，这些指标在我们自己训练过的 BERT 架构基准上进行了评估。
2025-03-09 19:41:51
257
原创 Encodings for Prediction-based Neural Architecture Search（未更新预览版）
基于预测器的方法大大增强了神经架构搜索 (NAS) 优化。这些预测器的有效性在很大程度上受到编码神经网络架构的方法的影响。虽然传统编码使用邻接矩阵来描述神经网络的图形结构，但新型编码采用了从潜在表示的无监督预训练到零成本代理向量的各种方法。在本文中，我们将神经编码分为三种主要类型：结构型、学习型和基于分数型。此外，我们扩展了这些编码并引入了统一编码，将 NAS 预测器扩展到多个搜索空间。
2025-03-08 10:26:17
265
原创 Vision Transformer Neural Architecture Search（预览版本）
为了解决这一差距，我们推出了 OoD-ViT-NAS，这是第一个专注于 OoD 泛化的 ViT 神经架构搜索 (NAS) 系统基准。有了这个全面的基准，我们分析了有助于 ViT 架构 OoD 泛化的因素。我们表明，基准测试中的 ViT 架构表现出广泛的 OoD 准确性，对于某些 OoD 偏移高达 11.85%，这提示研究 OoD 的 ViT 架构设计的重要性。我们坚信，我们的 OoD-ViT-NAS 基准和分析可以促进和简化重要的研究，以了解 ViT 架构设计如何影响 OoD 泛化。
2025-03-08 10:18:42
297
原创 （更新完）LPZero: Language Model Zero-cost Proxy Search from Zero
神经架构搜索 (NAS) 有助于自动执行有效的神经网络搜索，同时需要大量的计算资源，尤其是对于语言模型。然而，现有的 ZC 代理严重依赖于深入的专家知识和重复的反复试验成本。它旨在自动设计高效的语言模型 ZC 代理，并实现更高的排名一致性。具体来说，我们首先将现有的 ZC 代理设计整合到一个统一的框架中作为搜索空间，然后应用进化算法启发式地识别语言模型的新代理候选者。该策略旨在预先消除没有希望的代理，从而降低代理降级的风险。值得注意的是，我们的方法实现的性能排名一致性显著超过了当前代理的一致性。
2025-03-07 09:55:49
1047
原创 ETAS: Zero-Shot Transformer Architecture Search via NetworkTrainability and Expressivity（未更新完预览版本）
然而，评估 Transformer 架构的成本过高阻碍了它们的实现。尽管如此，它们中的大多数都是基于经验观察而开发的，缺乏理论保证。为了解决这个问题，我们开发了一种新的零成本代理，称为 NTSR，它结合了两个理论启发的指标来分别衡量 Transformer 网络的可训练性和表达力。结果表明，我们提出的 NTSR 代理可以始终如一地与 Transformer 网络在计算机视觉和自然语言处理任务上的真实性能实现更高的相关性。此外，它可以显著加快寻找性能最佳的 Transformer 架构配置的搜索过程。
2025-03-07 09:52:30
250
原创 On Latency Predictors for Neural Architecture Search（未更新完预览版本）
最近的研究表明，通过在某些具有许多样本的训练设备上进行预训练，然后将预测器转移到测试（目标）设备上，可以大大提高这些预测模型的样本效率。此外，现有延迟预测器的评估主要是在手工制作的训练/测试设备集上进行的，因此很难确定构成稳健且通用的延迟预测器的设计特征。基于我们研究的结论，我们提出了一种端到端延迟预测器训练策略，该策略在 12 个困难的延迟预测任务中的 11 个上优于现有方法，平均将延迟预测提高了 22.5%，在最困难的任务上最高可提高 87.6%。
2025-03-06 10:39:20
192
原创 Towards Neural Architecture Search through Hierarchical Generative Modeling（未更新完预览版本）
神经架构搜索 (NAS) 旨在实现跨各种应用程序的深度神经网络设计的自动化，而良好的搜索空间设计是 NAS 性能的核心。太窄的搜索空间可能无法覆盖不同的任务要求，而太宽的搜索空间则会增加计算成本并降低效率。在这项工作中，我们旨在通过依靠生成建模的最新进展来应对这一挑战——我们提出了一种新方法，可以通过训练两级生成模型层次结构来有效地浏览极大的通用初始搜索空间。为了确保计算可行性，我们使用图的度量空间和架构之间的零成本 (ZC) 相似性以与任务无关的方式预训练生成模型。
2025-03-06 10:22:28
175
原创 （更新完）免训练神经网络架构搜索综述
梯度驱动的NAS方法通过梯度信息来指导架构搜索。典型代表是一系列的一次性NAS算法（如DARTS），它们将架构参数松弛为可训练的连续变量，通过梯度下降同时优化权重和架构选择，从而在单次训练中完成搜索。然而，这类方法仍需大量训练开销（需训练超级网络），并存在架构间等问题。为彻底避免训练成本，研究者提出了利用评估架构性能的方法。例如，SNIP和GraSP等指标源自网络剪枝策略，计算网络在随机初始化时某些权重对损失的梯度敏感度，以估计架构的重要性。再如（梯度范数）与。
2025-03-05 20:41:53
1275
原创 MeCo: Zero-Shot NAS with One Data and SingleForward Pass via Minimum Eigenvalue of Correlation（预览版本）
神经架构搜索 (NAS) 是自动架构工程中一个很有前途的范例。零样本 NAS 可以通过一些称为零成本代理的特定指标来评估无需训练的网络。尽管有效，但现有的零成本代理要么调用至少一次反向传播，要么高度依赖于数据和标签。为了缓解上述问题，在本文中，我们首先揭示了特征图的皮尔逊相关矩阵如何影响过度参数化的神经网络的收敛速度和泛化能力。受理论分析的启发，我们提出了一种名为 MeCo 的新型零成本代理，它只需要一个随机数据即可进行一次前向传递。我们进一步提出了一种优化方法 MeCoopt 来提高我们方法的性能。
2025-03-05 10:54:14
365
原创 ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT（未更新完预览版本）
为了有效地训练 OFA 网络，我们还提出了一种新颖的渐进式收缩算法，这是一种广义剪枝方法，它可以在比剪枝更多的维度上减小模型大小（深度、宽度、内核大小和分辨率）。在不同的边缘设备上，OFA 的表现始终优于最先进的 (SOTA) NAS 方法（与 MobileNetV3 相比，ImageNet top1 准确度提高了 4.0%，或者准确度相同但比 MobileNetV3 快 1.5 倍，比 EfficientNet 快 2.6 倍，同时将 GPU 小时数和二氧化碳排放量减少了几个数量级。
2025-03-05 10:50:36
254
原创 FBNetV5: Neural Architecture Search for Multiple Tasks in One Run（未更新完预览版本）
神经架构搜索（NAS）已被广泛应用于设计高精度且高效的图像分类模型。然而，将 NAS 应用于新的计算机视觉任务仍需要大量的工作量。这主要是因为：1）先前的 NAS 研究过于侧重于图像分类，而在很大程度上忽略了其他任务；2）许多 NAS 工作集中于优化任务特定的组件，这些组件难以良好地迁移到其他任务；以及 3）现有的 NAS 方法通常被设计为“无代理（proxyless）”，并且需要大量的工作量才能与每个新任务的训练流程集成。
2025-03-04 16:13:40
161
原创 FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining（未更新完预览版本）
此外，FBNetV3 在下游对象检测任务中获得了显着的性能提升，尽管 FLOP 减少了 18%，参数减少了 34%，但 mAP 仍然得到了改善，这比基于 EfficientNet 的等效方案要好。提出了神经架构配方搜索 (NARS) 来同时搜索 (a) 架构和 (b) 其相应的训练配方。通过约束迭代优化训练预测器后，我们仅用 CPU 分钟即可运行快速进化搜索，以生成针对各种资源约束的架构配方对，称为。然而，以前的 NAS 方法。在一组训练超参数（即训练配方）下搜索架构，忽略了更优的架构配方组合。
2025-03-04 15:26:46
197
原创 ZICO: ZERO-SHOT NAS VIA INVERSE COEFFICIENTOF VARIATION ON GRADIENTS（未更新完预览版本）
神经结构搜索（Neural Architecture Search，NAS）被广泛应用于从大量候选架构中自动寻找性能最佳的神经网络。为了缩短搜索时间，零次训练NAS旨在设计无需训练的代理，用以预测给定架构的测试性能。然而，正如近期所展示的，迄今为止提出的零次代理中，没有一个能始终优于一个简单的代理，即网络参数数量（#Params）。为改善这一状况，作为主要理论贡献，我们首先揭示了不同样本之间的一些特定梯度特性如何影响神经网络的收敛速度和泛化能力。
2025-03-03 16:10:48
346
原创 （马上更新完）Zen-NAS: A Zero-Shot NAS for High-Performance Image Recognition
在神经网络架构搜索（Neural Architecture Search，NAS）中，用于对候选架构进行排序的准确率预测器是一个关键组件。然而，构建高质量的准确率预测器通常需要巨大的计算开销。为了解决这一问题，我们提出了一种名为 Zen-Score 的全新零训练（zero-shot）指标来替代准确率预测器，用于对架构进行排序。Zen-Score 反映了网络的表达能力（expressivity），并且与模型的准确率呈正相关。
2025-03-03 14:51:32
1481
原创 （更新完）MOTE-NAS: Multi-Objective Training-based Estimatefor Efficient Neural Architecture Search
神经架构搜索（NAS）方法旨在有效地优化模型的准确性和泛化性，但在面对搜索成本和GPU资源限制时仍然存在挑战。最近的神经切线核（NTK）NAS方法通过训练-free模型估计取得了显著的搜索效率。然而，这些方法忽视了深度神经网络（DNN）在搜索过程中呈现的非凸特性。本文提出了基于多目标训练的估计（MOTE）方法，以提高NAS的效率，在准确性与成本之间实现了全新的最优平衡。
2025-02-26 19:54:15
1257
原创 （更新完）Zero-Shot Neural Architecture Search: Challenges,Solutions, and Opportunities
近年来，零次（或无需训练）神经结构搜索（NAS）方法被提出，以从昂贵的训练过程中解放 NAS。零次 NAS 的核心思想是设计一个代理（proxy），无需训练网络参数即可预测给定网络的准确率。到目前为止，已经提出的这些代理通常受益于对深度学习理论理解的最新进展，并在若干数据集和 NAS 基准上展现了巨大潜力。本文旨在全面回顾并比较当前最先进的（SOTA）零次 NAS 方法，并着重探讨它们对硬件的关注度。为此，我们首先回顾主流的零次代理并讨论它们的理论基础。
2025-02-24 20:12:48
841
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人