- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 深度学习基础复习4：Attention机制
Part I：背景知识Part II：Attention形式Part III：具体Task分析Part I：背景知识这张图很是出名了，第一个将Attention用在NLP领域的论文，机器翻译，在每一步翻译的时候都关注不同的原文信息。Attention机制可以理解为一种文本聚焦方法，基本思想是对文本分配注意力权重，把注意力集中在相关的文本内容，增加这部分的贡献。Attenti...
2019-01-03 17:25:06
5309
原创 深度学习基础复习2：RNN系列
1 RNN的演变语言建模是预测下一个单词的任务，即给出一个单词序列，计算下一个单词的概率分布： 1.1 n-gram语言模型the students opened their ______• unigrams: “the”, “stu...
2019-01-02 21:40:08
926
原创 深度学习基础复习1：CNN系列
CNN原理对应位置做乘法然后相加：第一列滑动窗格 * 中间第一个filter=右边第一个矩阵(1)、右边是含有两个filter即两个神经元(下边还包括bias等参数)，参数数depth=2。可知3*3滑动窗，且Stride=2(2)、每个神经元之所以各有三个小矩阵，是因为有RGB三个通道同时过滤计算(3)、输入的数据之所有周边赋予0，是因为Zero-Padding参数填充0值如何用在文...
2018-12-29 15:52:23
1954
原创 深度强化学习用于对话生成（论文笔记）
一、如何定义一个好的对话尽管SEQ2SEQ模式在对话生成方面取得了成功，但仍出现了两个问题（图1）： 通过使用最大似然估计(MLE)目标函数预测给定会话上下文中的下一个对话转角来训练SEQ2SEQ模型。SEQ2SEQ模型倾向于生成概率较大、高度通用的回答，比如“我不知道”，而不管输入是什么。然而，“我不知道”显然不是一个好的行动，因为它结束了谈话。 系统被困在一个无限循环的重复...
2018-12-28 16:38:03
3639
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人