scxyz的博客

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html 当把所有word 转化成vector后，需要将这些vector进行整合，传统整合方法一般使用average, sum等，接下来介绍使用Recursive Neural Network（RvNN）递归神经网络进行处理。

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html 在之前 lecture2-2 Word Representation 的课程中简单讲解了 Word 处理的传统方法。通过传统方法的局限性引入新的方法 Word Embeddings，从而直接学习得到低维结果，而...

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html GenerationRNN的应用方法 sentences是由characters/word 组成； 使用RNN的方法每次生成一个characters/word X 是之前产生的一个word，用one-hot-encodi

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html 函数“ff”的作用 “Meaning”的含义？ 怎样表示文字上的语义？ 本节课主要讲了两种方法，分别如下：Knowledge-based representation这个是传统方法，语言学家们制定了一套 WordNe

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html 上节课程 lecture1-2 Neural Network Basics 讲了神经网络的结构以及正向传播的方法公式，最后也快速讲了一下使用梯度下降的方法进行优化，并且比较了GD、SGD、Mini-Batch三种方法。本节

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html 本节课主要讲了三个问题： 1. What is the model? (function hypothesis set) 2. What does a “good” function mean? 3. How d

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html 机器学习介绍引入机器学习理论方法 Programs can do the things you ask them to do Some tasks are complex, and we don’t know how to

Recurrent Neural Network （RNN）循环神经网络常被用到的领域是Language Modeling，下面就从Language Modeling方法的发展，引入RNN。Language Modeling多个word组成一句话，根据一句话出现的概率可以得到更符合语法结构和有意义的句子。 比如根据给出的一段语音，可以得到两种完全不同的句子“recognize speech”、“w

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html Review首先复习一下 lecture3-1 Recurrent Neural Network 讲过的RNN结构。RNN假设现在有3个sequence表示为 x1x^1、x2x^2、x3x^3，设定的初始化向量 h0h_