omnispace的博客

Microsoft Research dominated the ImageNet 2015 contest with a deep neural network of 150 layers [1]. Congrats to Kaiming He & Xiangyu Zhang & Shaoqing Ren & Jian Sun on the great results [2]!Their C

近日，外媒 KDnuggets 刊登了一篇机器学习与网络安全相关的资料大汇总，文中列出了相关数据源的获取途径，优秀的论文和书籍，以及丰富的教程。大部分都是作者在日常工作和学习中亲自使用并认为值得安利的纯干货，雷锋网现编译总结如下。  数据源SecRepo.com 网站，该网站汇聚了大量的与机器学习和网络安全相关的数据源，并提供免费下载。据网站首页介绍，所有可用的数据源包含两个部分：一是网站

Papers_ ** DeepSense: A GPU-based Deep Convolutional Neural Network Framework on Commodity Mobile Devices_ ** DeepX: A Software Accelerator for Low-Power Deep Learning Inference on Mobile Devices_ ** D

前言本文会从头介绍生成对抗式网络的一些内容，从生成式模型开始说起，到GAN的基本原理，InfoGAN，AC-GAN的基本科普，如果有任何有错误的地方，请随时喷，我刚开始研究GAN这块的内容，希望和大家一起学习。生成式模型何为生成式模型？在很多machine learning的教程或者公开课上，通常会把machine learning的算法分为两类： 生成式模型、判别式模型；其区别在于：

记录一点学到的无用知识一点 GAN -之一：简述一些直觉一些架构关于参数更新EBGAN (energy-based view GAN)Info-GAN (to be supplemented)Feeling Lucky一些直觉What I cannot create, I do not understand. - Richard Feynman费曼的

作者：曹恭泽链接：https://zhuanlan.zhihu.com/p/24421479来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。arxiv 传送门最近 NIPS 上有一篇关于 GAN 的论文很受关注，在 reddit 上也有不少讨论，因为它的生成结果实在很 impressive ，如图：最下一排是 stackGAN

原始GANGoodfellow和Bengio等人发表在NIPS 2014年的文章Generative adversary network，是生成对抗网络的开创文章，论文思想启发自博弈论中的二人零和博弈。在二人零和博弈中，两位博弈方的利益之和为零或一个常数，即一方有所得，另一方必有所失。GAN模型中的两位博弈方分别由生成式模型(generative model)和判别式模型(discrimina

ICLR 2017 | Attention 和 Memory Networks原创2016-11-09小 S程序媛的日常程序媛的日常今天分享 ICLR 2017，主题是 Attention 和 Memory。这两者作为2014年到2016年最火的 Neural Network Mechanism 和 Architecture，将非常多的 Vision 和 NLP 任务的 per

NIPS 2016 | Best Paper, Dual Learning, Review Network, VQA 等论文选介原创2016-12-12小 S程序媛的日常程序媛的日常过去一周，最受关注的学术界盛事就是在美丽的巴塞罗那召开的 NIPS 2016 大会啦。每年 NIPS 的会议上，都会有非常重量级的 tutorial 和工作发表。今天给大家推荐和分享的是如下几篇

ACL 2016 | Modeling Coverage for Neural Machine Translation原创2016-08-03小S程序媛的日常程序媛的日常今天的 ACL 2016 系列推荐的论文，虽然不是 outstanding papers 之一，但是却符合 simple yet powerful。这篇论文就是《Modeling Coverage for Ne

ACL 2016 | CopyNet 和 Pointer Softmax原创2016-08-17小S程序媛的日常程序媛的日常上一篇 ACL 2016 系列的干货，为大家推荐的是一篇解决机器翻译 MT 中的小问题的论文《Modeling Coverage for Neural Machine Translation》。如果说这篇论文解决的是如何把翻译漏了的文字补上或者把翻

干货 | 你真的了解 Convolutional Neural Networks 么原创2016-01-11小S程序媛的日常程序媛的日常首先，先感谢大家支持我们周六推送的第一次线下活动：程序媛们一起去 Google 玩耍吧。现在距离报名截止还有几天时间，感兴趣的程序媛们千万不要错过这个非常好的机会啦。点击这里查看详细信息噢。回归正题，今天要跟大家分享的是

There’s something magical about Recurrent Neural Networks (RNNs). I still remember when I trained my first recurrent network for Image Captioning. Within a few dozen minutes of training my first bab

神经网络本质上是一种语言，我们通过它来表达对应用问题的理解。例如我们用卷积层来表达空间相关性，RNN来表达时间连续性。根据问题的复杂性和信息如何从输入到输出一步步提取，我们将不同大小的层按一定原则连接起来。近年来随着数据的激增和计算能力的大幅提升，神经网络也变得越来越深和大。例如最近几次imagnet竞赛的冠军都使用有数十至百层的网络。对于这一类神经网络我们通常称之为深度学习。从应用的角度而言，对

目录(?)[+]前言好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、

caffe虽然已经安装了快一个月了，但是caffe使用进展比较缓慢，果然如刘老师说的那样，搭建起来caffe框架环境比较简单，但是完整的从数据准备->模型训练->调参数->合理结果需要一个比较长的过程，这个过程中你需要对caffe中很多东西，细节进行深入的理解，这样才可以知道为什么能有这样的结果，在训练或者fine-tuning时知道针对调整的方法。下面针对caffe中的使用进行讲解。　　在使

这一段时间把caffe官网上的例子跑了一下，对caffe有了一个大概的了解。如果你想对caffe有个比较清晰的了解，建议认真阅读官网上的资料，尤其在caffe资料极少的情况下，这种方法是最有效的途径，可以让你少走许多弯路，不要上来就在网上随便找个教程配置环境，上来就想跑例子。。博主就是赤裸裸的例子，在配置环境的时候浪费了好多时间一、caffe的基本组成 一个caffe的工程主要包含两个部分

Caffe简要介绍：Caffe还没有windows版本，所以我需要远程登录linux服务器Caffe主要处理图片/图片序列 Caffe读取的数据格式从专用的数据库中读取（lmdb、leveldb)直接读取图片从内存中读取（会占很多内存）从HDF5文件中读取从滑动窗口中读取（在大图中滑动一

工作中需要实现 CNN、RNN 模型，于是开始学习 TensorFlow。这是第一篇，MNIST的实战。官方文档讲的很详细，这里我不过是用我的思路整理一遍，方便日后的查阅。TensorFlow 介绍综述TensorFlow 是一个编程系统, 使用图来表示计算任务. 图中的节点被称之为 op (operation 的缩写). 一个 op 获得 0 个或多个 Tensor, 执

最近在 Ubuntu 上安装 Caffe 总是有各种各样的问题，尽管因为系统版本的问题没有安装 CUDA ，少了不少麻烦，但在 make 的时候总是缺这个.o文件或者少那个.h文件。Docker 常用命令请查看参考部分的第一个。本文目录0. 安装 Docker1. 获取 Caffe 的 Docker 镜像1.1 通过 Dockerfile 来创建 Doc

Source: https://en.wikipedia.org/wiki/BackpropagationBackpropagationFrom Wikipedia, the free encyclopediaThis article is about the computer algorithm. For the biological process, s

Deep Learning has been the core topic in the Machine Learning community the last couple of years and 2016 was not the exception. In this article, we will go through the advancements we think have co

This is the Definitive Security Data Science and Machine Learning Guide. It includes books, tutorials, presentations, blog posts, and research papers about solving security problems using data science

Top Machine Learning & Data Mining Books - in this post, we have scraped various signals (e.g. reviews & ratings, topics covered in the book, author influence in the field, etc.) from web for more tha

在学习TensorFlow的过程中，有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略，网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式，用最简单的语言，为大家详细解释一下TensorFlow的数据读取机制，文章的最后还会给出实战代码以供参考。TensorFlow读取机制图解首先需要思考的一个问题是，什么是数据读取？以图像数据为例，读取数据的过程可以用下

引言 短短三年时间，变分编码器VAE（Variational Auto-encoder）同GAN一样，成为无监督复杂概率分布学习的最流行的方法。VAE之所以流行，是因为它建立在标准函数逼近单元，即神经网络，此外它可以利用随机梯度下降进行优化。本文将解释重点介绍VAE背后的哲学思想和直观认识及其数学原理。VAE的最大特点是模仿自动编码机的学习预测机制，在可测函数之间进行编码、解码。同GAN类似，其最...

本文是David Silver强化学习公开课第一课的总结笔记。第一课主要解释了强化学习在多领域的体现，主要解决什么问题，与监督学习算法的区别，完整的算法流程由哪几部分组成，其中的agent又包含什么内容，以及解释了强化学习涉及到的一些概念。【转载请注明出处】chenrudan.github.io本文是David Silver强化学习公开课第一课的总结笔记。第一课主要解释了强化学习在

在利用深度学习网络进行预测性分析之前，我们首先需要对其加以训练。目前市面上存在着大量能够用于神经网络训练的工具，但TensorFlow无疑是其中极为重要的首选方案之一。大家可以利用TensorFlow训练自己的机器学习模型，并利用这些模型完成预测性分析。训练通常由一台极为强大的设备或者云端资源完成，但您可能想象不到的是，TensorFlow亦可以在iOS之上顺利起效——只是存在一定

2015年11月9日谷歌开源了人工智能平台TensorFlow，同时成为2015年最受关注的开源项目之一。经历了从v0.1到v0.12的12个版本迭代后，谷歌于2017年2月15日发布了TensorFlow 1.0 版本，并同时在美国加州山景城举办了首届TensorFlow Dev Summit会议。TensorFlow 1.0及Dev Summit（2017）回顾和以往版本相比，

作者：程程链接：https://zhuanlan.zhihu.com/p/25000523来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。摘要本文主要包括两方面内容：首先对GAN的基础概念与理论基础进行介绍，并分析了其模型构建原理与优势等；其次对其在2016年度的主要进展进行梳理和概括，主要包括从模型理论框架到实际应用问题中的相关扩展与改进及其

A feed-forward network is built up of nodes that make a directed acyclic graph (DAG). This post will focus on how a single node works and what we need to implement if we want to define one. It is aime

整个神经网络，从历史上就可以把很多东西搞清楚，比如它是怎么变过来的。我认为神经网络其实是变得越来越简单，越来越好用的。现在神经网络常用的东西已经很固定了，你不用再加任何东西就能用。但有些时候你觉得这个东西应该work，但它不work，这种情况该怎么办。所以尽管现在很多东西已经纯标准化，但了解这些对于你找问题找错误，还是很重要。所以这次主要讲两个东西，优化和正则化。绝大多数情况，正则化不是问题，我们

本次分享主要针对一些对深度学习和物体检测感兴趣的同学。内容主要包括：第一，什么是物体检测，如何去评价一个物体里系统的好坏。第二，物体检测整个的框架是怎么样的？它一般包含了图像的分类和物体检测的定位。第三，介绍物体检测的历史发展，从传统的人工设计的一些图像特征加上分类器到现在的深度学习。▼What’s Computer Vision介绍物体

本文首发于谭洪贺个人知乎，从ISSCC2017的session 14 Deep Learning Processor的几篇文章出发，分析同行们都用了哪些方法来降低 DL 加速器和处理器的功耗，提高能效。本文适用读者：对 Deep Learning 算法有一定了解的 IC 工程师，对 IC 设计和计算机架构有一定了解的算法工程师。 ▼先来一张slide镇镇场，tutori

This is the first post of Nervana’s “Security Meets Deep Learning” series. Security is one of the biggest concerns for any enterprise, but it’s especially critical for companies deploying deep learnin

前言：今天他给大家带来一篇发表在CVPR 2017上的文章。原文：LBCNN原文代码：https://github.com/juefeix/lbcnn.torch本文主要内容：把局部二值与卷积神经网路结合，以削减参数，从而实现深度卷积神经网络端到端的训练，也就是未来嵌入式设备上跑卷积效果将会越来越好。主要贡献：提出一种局部二值卷积（LBC)可以用来替代传统的卷积神经网络的卷积层

CS231n简介CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition，即面向视觉识别的卷积神经网络。该课程是斯坦福大学计算机视觉实验室推出的课程。需要注意的是，目前大家说CS231n，大都指的是2016年冬季学期（一月到三月）的最新版本。课程描述：请允许我们引用课程主页上的官方描述如下。

前段时间看了一些关于LSTM方面的论文，一直准备记录一下学习过程的，因为其他事儿，一直拖到了现在，记忆又快模糊了。现在赶紧补上，本文的组织安排是这样的：先介绍rnn的BPTT所存在的问题，然后介绍最初的LSTM结构，在介绍加了遗忘控制门的，然后是加了peephole connections结构的LSTM，都是按照真实提出的时间顺序来写的。本文相当于把各个论文核心部分简要汇集一下而做的笔记，已提供快

学习笔记来自斯坦福公开课的自然语言处理（https://class.coursera.org/nlp/），以其中讲义为主，加入自己的学习理解，以加深学习印象。内容提纲：1. N-GRAM介绍2. 参数估计3. 语言模型的评价4. 数据稀疏问题5. 平滑方法N-GRAM介绍现在很多

作者：知乎用户链接：https://www.zhihu.com/question/29411132/answer/51515231来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。刚好毕设相关，论文写完顺手就答了先给出一个最快的了解+上手的教程：直接看theano官网的LSTM教程+代码：LSTM Networks for Sen