无需学习任何权重参数就能做神经网络？谷歌学术发布WANN | 一周AI最火学术

最新推荐文章于 2024-09-26 07:30:38 发布
最新推荐文章于 2024-09-26 07:30:38 发布
阅读量1k 收藏 1
点赞数
分类专栏： 科技
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BigDataDigest/article/details/100287830
版权
谷歌AI提出了一种名为WANN的神经网络架构，能在不学习权重参数的情况下执行任务。通过使用统一随机分布的单个共享权重，WANN展示了在强化学习任务中的高效性能，为深度学习的未来发展提供了新思路。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
大数据文摘专栏作品
作者：Christopher Dossman
编译：fuma、李琳、云舟

呜啦啦啦啦啦啦啦大家好，拖更的AI Scholar Weekly栏目又和大家见面啦！

AI Scholar Weekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

每周更新，做AI科研，每周从这一篇开始就够啦！

本周关键词：神经网络、中美AI争霸、华为发布AI芯片

本周最佳研究

使用双回火逻辑损失训练具有噪声数据的神经网络

在最近的一篇论文中，Google Research发布了一种称之为“基于Bregman发散的鲁棒双回火逻辑损失”的方法。这种方法可以处理逻辑函数所遇到的噪声数据挑战。他们的方法是基于Bregman发散，并且优于使用Tsallis发散的双回火方法。

他们将温度引入了指数函数，并通过高温一般化替换神经网络的softmax输出层。出于同样的原因，训练的对数损失中的对数由低温对数交换。然后，他们通过调整两个温度来创建已经处于单层情况的非凸损失函数。在使用逻辑损失的双温度推广替换网络的最后一层的后，训练对噪声变得更加鲁棒。

文中所提出的双回火损失函数在模型训练上实现了出色的经

最低0.47元/天 解锁文章
无需深度学习框架——利用Python实现一个神经网络
愤怒的Tudou的博客
05-22 1652
在看完神经网络和深度学习后，利用python3实现了Michael Nielsen书中的一个神经网络的代码，并在代码中做了详细注释。 定义一个神经网络 定义一个神经网络类，在类方法中，最重要的是梯度下降法中的，即SGD #! /usr/bin/env python3 #coding=utf-8 ''' net_work.py ~~~~~~~~~~~~~ 手写神经网络 ''' #### ...
神经网络的气宗与剑宗之争：先验强大的网络甚至不需要训练
AI 研习社的博客
06-14 1012
雷锋网 AI 科技评论按：深度神经网络中有许多连接权重，这些权重的值对网络表现有巨大影响；通过反向传播可以定向优化这些权重，提高网络的表现，这个过程被称作「训练」；训练过程通常需要多轮迭代，需要大量的稠密矩阵运算；这些都是领域内的常识。因为训练过程如此地重要，深度学习研究人员们都会设立多 GPU 阵列加速训练过程，关于训练技巧的论文连篇累牍，甚至还有「深度学习调参师」、「玄学调参」、「希望上帝给我...
【告别调参！】google开源“权重无关”神经网络（Weight Agnostic Neural Networks,WANN）
Zack的博客
08-28 1047
前言 谷歌大脑备受关注的“权重无关神经网络”（《Weight Agnostic Neural Networks》）终于开源了！《Weight Agnostic Neural Networks》是谷歌大脑 David Ha 等人所著。 其关键思想是通过不再强调权重来搜索网络结构，仅使用随机共享的权重，也可以执行各种任务的神经网络。 github地址 github地址： https://git...
探索无权重神经网络：Weight Agnostic Neural Networks
最新发布
gitblog_00879的博客
09-26 590
探索无权重神经网络：Weight Agnostic Neural Networks weightagnostic.github.io repo for interactive article 项目地址: https://gitco...
谷歌大脑：探索权重无关神经网络
我爱计算机视觉
11-26 346
点击我爱计算机视觉标星，更快获取CVML新技术文 / Adam Gaier 学生研究员 和 David Ha 研究员Google Research无论是图像分类还是强化学习，在通过训练神...
论文翻译 —— Weight Agnostic Neural Networks 权重无关神经网络
佚失的诗篇
01-31 1326
这篇《Weight Agnostic Neural Networks》是前一段比较火的一篇论文了，号称找到了 “不用进行训练的神经网络”，称作WANNs，下面给出我对此文的翻译。能力有限肯定有不准确或词不达意的地方，大家以原文为准 可以在这里（交互式）查看此论文的交互式版本 注意，以下用黑色框框柱的部分以及这种红字部分是我做的补充解释，非原文内容。 注意，以下图片说明文字全部用斜体，放在图片上方...
人脸识别是如何实现的？维识教育科技帮你解答
Dimensionedu的博客
09-25 656
近日，维识科技智能工程教育中心开展了一场别开生面的人脸识别技术知识公开课。本次公开课主讲人为维识教育科技金牌讲师揭李迪。 揭sir简介：本科毕业于谷歌首席科学家Geoffrey Hinton（图灵奖获得者，被称为“神经网络之父”、“深度学习鼻祖”）的母校爱丁堡大学（Edinburgh University）。研究生师从香港浸会大学（HKBU）国际电子电气工程协会（IEEE）院士刘继明（jimin...
谷歌论文Weight Agnostic Neural Networks（WANN）权重无关神经网络
祥瑞的技术博客
12-06 1699
论文地址： https://arxiv.org/abs/1906.04358 项目及代码地址： https://weightagnostic.github.io/ 目录 一、概览 1.1 贡献点 1.2 背景 二、方法 2.1 本文做法 2.2 相关工作 2.3 方法 网络结构搜寻 结构搜索 Topology search 2.4 性能与复杂度评估 三、实验及结果 ...
告别深度学习炼丹术！谷歌大脑提出“权重无关”神经网络
THU数据派
06-17 621
来源：新智元本文约5600字，建议阅读10+分钟。无需权重训练！谷歌再向深度学习炼丹术发起“攻击”。[ 导读 ]神经网络训练中“权重”有多重要不言而喻。但现在，可以把权重...
【重磅】谷歌WANN成果解析&AutoML新书下载 | AutoML
九三智能控
06-19 423
今天，你AI了没？关注：决策智能与机器学习，学点AI干货作者 | DeepRL来源 |WANN论文，awesone-automl-paper出处 | 深度强化学习算法（...
wann
03-05
万恩 加权对抗神经网络 有关该算法的在线演示，请访问 综合实验设置 没有重新加权 TrAdaBoostR2 万恩 WANN是一种适用于回归任务的监督域自适应方法。 该算法是基于实例的方法，该方法学习源实例损失的重新加权，以纠正源分布和目标分布之间的差异。 WANN算法包括在相同的梯度下降中并行训练三个网络。 加权网络W学习源实例权重，该权重乘以任务的源损失和差异网络ht和hd 。 最后一个网络估计了重新加权的源实例和目标实例之间的Y差异，并使用与另外两个相反的目标函数（ -G ）进行训练。 这是通过使用图中粗体显示的“逆向渐变层”（RGL）来完成的。 要求 数值实验代码需要以下程序包： tensorflow （> = 2.0） scikit-learn numpy cvxopt nltk （用于情感分析预处理） matplotlib （用于可视化） 可以使用文件en
一文看懂25个神经网络模型
热门推荐
刘炫320的博客
06-17 25万+
1. 引言在深度学习十分火热的今天，不时会涌现出各种新型的人工神经网络，想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写（如：DCIGN、BiLSTM、DCGAN……还有哪些？)，就已经让人招架不住了。因此，这里整理出一份清单来梳理所有这些架构。其中大部分是人工神经网络，也有一些完全不同的怪物。尽管所有这些架构都各不相同、功能独特，当我在画它们的节点图时……其中潜在
深度学习之:神经网络参数(权重)初始化
The Best or Nothing.
11-15 3670
参数初始化 在我们真正开始训练网络之前，我们必须要知道如何去初始化神经网络的参数。 Training your neural network requires specifying an initial value of the weights. A well chosen initialization method will help learning.      我们先来看看三种...
神经网络梯度消失和梯度爆炸及解决办法
Microstrong
04-21 2万+
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！本文同步更新在我的微信公众号中，公众号文章地址：https://mp.weixin.qq.com/s/6xHC5woJND14bozsBNaaXQ目录：（1）    神经网络梯度消失与梯度爆炸（2）    几种激活函数的比较推荐阅读：《神经网络激活函数的...
ANN 神经网络介绍
weixin_42296976的博客
07-24 9977
1.简介 人工神经网络是模仿脑细胞结构和功能、脑神经结构以及思维处理问题等脑功能的信息处系统，它从模仿人脑智能的角度出发，探寻新的信息表示、存储和处理方式，这种神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，它采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结有针对性化信息方面的缺陷，具有自适应、自组织...
决策树与随机森林
麦好的AI乐园
10-07 4344
决策树（Decision Tree）与随机森林（Random Forest） 决策树是用树的结构来构建分类模型，每个节点代表着一个属性，根据这个属性的划分，进入这个节点的儿子节点，直至叶子节点，每个叶子节点都表征着一定的类别，从而达到分类的目的。 常用的决策树有ID4，C4.5，CART等。在生成树的过程中，需要选择用那个特征进行剖分，一般来说，选取的原则是，分开后能尽可能地提升纯度，可以用信息增...
机器学习中参数模型和非参数模型
Gloria的博客
08-23 1万+
网上关于机器学习中的参数模型和非参数模型之间的解释并没有一个完全一致的解答， 有从是不是对数据的分布做了相关假设进行分析的 也有是从模型的参数量大小进行解答的 二者好像是一致的，但是个人觉得如下使用是不是对数据分布进行了假设来区分并不是特别好理解。 非参数模型（non-parametric model）和参数模型（parametric model）作为数理统计学中的概念，现在也常用于机器...
优秀的数据工程师，怎么用 Spark 在 TiDB 上做 OLAP 分析
weixin_33964094的博客
02-28 237
作者：RickyHuo本文转载自公众号「大道至简bigdata」原文链接：优秀的数据工程师，怎么用 Spark 在 TiDB 上做 OLAP 分析 TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品，实现了一键水平伸缩，强一致性的多副本数据安全，分布式事务，实时 OLAP 等重要特性。TiSpark 是 PingCAP 为...
开源神器，无需一行代码就能搞定机器学习，不会数学也能上手
CSDN大数据
11-06 873
作者丨Shantanu Kumar 翻译丨魏伟 对于机器学习和数据科学的初学者来说，最大的挑战之一是需要同时学习太多知识，特别是如果你不知道如何编码。你需要快速地适应线性代数、统计以及其他数学概念，并学习如何编码它们，对于新用户来说，这可能会有点难以承受。 如果你没有编码的背景并且发现很难学习下去，这时你可以用一个GUI驱动的工具来学习数据科学。当你刚开始学习的时候，可以
WANN算法：监督域自适应的加权对抗神经网络
标题“wann”指的是万恩（WANN），这是一种特定的机器学习算法，专注于解决监督域自适应问题，尤其适用于回归任务。算法名称本身可能来源于英文“Weighted Adversarial Neural Network”的缩写，意味着加权对抗神经...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值