omnispace的博客

这是前两天在华南师范大学进行交流的时候所用的slide，主要介绍了自然语言处理的一些技巧。这个slide的出发点是：国内高校很多搞NLP的小组基本都停留在RNN的思维中，所以我介绍了CNN、Attention的一些内容，并且介绍了模型训练的一些技巧，等等。内容其实比较简短，但考虑到不少概念对于多数同学来说都是新的，因此信息量还是蛮大的。这也是我第一次尝试用LATEXLATEX来做s

2017年中，有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》，它们都算是Seq2Seq上的创新，本质上来说，都是抛弃了RNN结构来做Seq2Seq任务。这篇博文中，笔者对《Attention is All You N

如果问我哪个是最方便、最好用的词向量模型，我觉得应该是word2vec，但如果问我哪个是最漂亮的词向量模型，我不知道，我觉得各个模型总有一些不足的地方。且不说试验效果好不好（这不过是评测指标的问题），就单看理论也没有一个模型称得上漂亮的。本文讨论了一些大家比较关心的词向量的问题，很多结论基本上都是实验发现的，缺乏合理的解释，包括：如果去构造一个词向量模型？为什么用余弦值

Stanford c231n (Youtube)　××××××Google Deep Learning Course on Udacity[Coursera] Neural Networks for Machine Learning — Geoffrey Hinton 2016Neural networks class - Université de SherbrookeMIT 6.S

Note to the reader : a dynamic version of this article can be found HERE, including interactive data-visualisations.Over the past few years, natural language interfaces have been transforming the way ...

随着近年来人工智能技术的发展，Chatbot聊天机器人越来越普及，随之而来的用户访问不断增多，如何让Chatbot系统在解决用户问题的同时简化用户操作，优化用户与机器人聊天过程中的体验成为当前难点。 目前的智能问答机器人不仅需要实现智能人机交互（文本、语音等）的全渠道多媒体整合应用，而且需要各领域内大数据、深度语义理解等前沿技术上的研究与积累，让机器人去回答用户的同时预测用户接下来的意图，并做对应...

一、什么是智能助理随着智能手机和移动互联网的普及，越来越多原来发生在线下的交互场景，逐渐从线下转移到线上。人们也开始习惯通过在线沟通的方式来获取各种服务：让秘书安排出差的机票和酒店，向英语老师咨询学习中的问题，找旅行达人制定旅游计划等等。类似这样的场景，今天都逐渐从面对面或电话沟通，转移到线上沟通。因为沟通从线下变为线上，大量的数据能够被沉淀下来，基于数据我们可以通过机器学习等方法来辅助人提升效率...

　　最近一直在研究深度语义匹配算法，搭建了个模型，跑起来效果并不是很理想，在分析原因的过程中，发现注意力模型在解决这个问题上还是很有帮助的，所以花了两天研究了一下。　　此文大部分参考深度学习中的注意力机制(2017版)张俊林的博客，不过添加了一些个人的思考与理解过程。在github上找到一份基于keras框架实现的可运行的注意模型代码：Attention_Network_With_Kera...

01TransformerTransformer在2017年由Google在题为《Attention Is All You Need》的论文中提出。Transformer是一个完全基于注意力机制的编解码器模型，它抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构，而采用了自注意力（Self-attention）机制，在任务表现、并行能力和易于训练性方面都有大幅的提高。在...