fareise的博客

原创 过去一年有哪些值得关注的时间序列工作？

2022年是深度学习在时间序列中应用最为广泛深入的一年，很多NLP、CV中的深度学习方法，越来越多被应用到时间序列领域。同时，在时间序列中应用深度学习方法，也从原来的照搬模型，这篇文章汇总了一些2022年出现的顶会经典时间序列建模方法，供大家参考，论文来自ICML、ICLR、NIPS、IIJCAI、AAAI等。

原创 用检索做时间序列预测是一种怎样的体验

今天为大家介绍一篇CIKM 2022中比较有意思的时间序列预测论文。这篇论文的独特之处在于，在其他论文都在卷深度学习时序预测模型结构时，这篇文章从检索引入相关数据的角度解决时序预测问题。

原创 让一个模型处理多种数据的N种方法

我整理了三种类型的方法，分别是多专家网络、生成个性化参数和Meta-learning，它们都可以实现针对不同数据进行参数空间分离的作用。下面对这三类方法的几个典型工作进行介绍。

原创 解读两篇最新多元时间序列预测工作

多元时间序列预测任务主要解决的是输入多变量时间序列，预测多变量未来序列的问题，多变量的序列之间存在一定的相互影响关系。多元时间序列预测相比一般的单变量时间预测，如何在建模temporal关系的同时建立不同变量空间上的关系至关重要。今天给大家介绍两篇2022年8月份发表的最新多元时间序列预测工作，两篇工作均有开源代码。

原创 长尾预测效果不好怎么办？试试这两种思路

长尾预测效果不好怎么办？试试这两种思路

原创 ICLR 2022 | Facebook AI提出解决表示学习坍塌问题新方法

Facebook AI团队在ICLR 2022发表了一篇文章，针对表示学习中的坍塌问题，提出了VICREG方法，通过variance、invariance、covariance三种loss的结合约束自监督学习过程，在表示学习中取得SOTA效果，且不依赖负样本构造。下面为大家详细介绍一下这篇文章，以及这个方向上的历史相关工作。...

原创 ICLR 2022最佳论文解读

ICLR 2022最佳论文解读

原创 如何在推荐系统中玩转知识图谱

知识图谱在推荐系统中的经典应用

原创 时间序列分析的表示学习时代来了？

表示学习作为深度学习中的核心，近期越来越多的被应用到了时间序列领域中，时间序列分析的表示学习时代已经来了。本文为大家带来了2020年以来顶会的5篇时间序列表示学习相关的核心工作梳理。...

原创 只用全连接，也能搭建SOTA时间序列预测模型？

Nbeats系列模型解析

原创 如何建模时间序列的不确定性？

这篇文章给大家详细介绍一下这两种方法，以及采用这两种方法的经典时间序列预测论文。

原创 如何搭建适合时间序列预测的Transformer模型？

如何搭建适合时间序列预测的Transformr模型

原创 图学习？Transformer：我也行

微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“、”图学习“等获取各个领域干货算法笔记~Transformer诞生于NLP领域，目前已经成为NLP中的主力模型。同时，Transformer在CV领域也逐渐显示出其超强的能力，诸如ViT、Swin Transformer、BEiT等Vision Transformer模型验证了Transformer同样适.

原创 多模态预训练CLIP模型的强大为例

微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~ 后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“等获取各个领域干货算法笔记~最近在看ACL 2022论文的时候，发现了一篇很有意思的文章：CLIP Models are Few-shot Learners。这个文章标题马上让人联想起GPT3那篇文章Language Models are Few-Shot Learners。CLIP自2021年被提出以来一直是多模.

原创 Multilingual多语言预训练的那些套路

这篇文章就为大家整理了Multilingual多语言预训练语言模型的套路，包括XLM、XLM-R、ERNIE-M、Unicoder、ALM等5个经典模型，以及这些模型之间的演进关系。

原创 层次时间序列预测指南

如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“圆圆的算法笔记”，定期更新深度学习/CV/NLP/搜推广干货笔记，和世间万物的学习记录~层次时间序列预测是工业界非常常见的一个应用场景。当要预估的时间序列之间存在层次关系，不同层次的时间序列需要满足一定的和约束时，就需要利用层次时间序列预测方法解决。设想这样一种场景，我们作为政府负责旅游业的部门，需要预测出澳大利亚每个月的旅游人数，同时还需要预测澳大利亚每个州的旅游人数，以及每个州中每个区的旅游人数。如果澳大利亚包括10个州，每个州包括5个地区，那

原创 Spatial-Temporal时间序列预测建模方法汇总

目前解决时间+空间预估的方法主要包括基于图的时序预估和基于矩阵分解的时序预估两种方法。本文通过6篇顶会论文介绍了这两种类型方法的发展历程。

原创 五花八门的多模态模型如何选择？

微软近期发表的一篇论文An Empirical Study of Training End-to-End Vision and Language Transformers（2022）进行了大量的实验，对不同VLP模型、各个模块不同配置的效果。

原创 NLP Prompt系列——Prompt Engineering方法详细梳理

这篇文章详细汇总了近2年10篇论文中3种Prompt Engineering方法，主要包括人工构造prompt、自动生成prompt、隐空间prompt3种类型，看看顶会论文中都是如何构造prompt模板并以此提升prompt效果的。

原创 ICLR 2022 | BEIT论文解读：将MLM无监督预训练应用到CV领域

介绍Vision Transformer最新工作BEiT以及和历史工作的对比

原创 迁移学习花式Finetune方法大汇总

本文介绍了来自2018年以来ICML、CVPR等顶会的7篇论文，总结了Finetune的四种类型招式，通过更科学的Finetune方式，提升迁移学习效果。

原创 算法工程师必须了解的工程原理—分布式训练

本文将对分布式训练原理，以及常见的Parameter Server分布式架构和Ring Allreduce分布式架构进行简单介绍。

原创 8篇论文详解用户历史行为序列建模方法

本文汇总了8篇推荐系统中对用户历史行为序列建模的方法，包括DIN、DIEN等经典模型。

原创 命名实体识别（NER）详解及小样本下的NER问题解法汇总

本文带你走进命名实体识别（NER）任务，首先介绍了解决NER任务的经典模型结构，然后通过3篇顶会论文介绍当缺少训练样本的时候，如何解决NER任务。

原创 从ViT到Swin，10篇顶会论文看Transformer在CV领域的发展历程

本文梳理了近期10篇Transformer、Attention机制在计算机视觉领域的应用，从ViT到Swin Transformer，完整了解CV Transformer的发展过程。

原创 NLP中的绿色Finetune方法大汇总

本文重点介绍近两年几个NLP中finetune优化的经典工作，包括adapter-finetune、side-tuning、mask-finetune以及prefix-finetune等工作。

原创 Transformer提效之路——一文梳理各种魔改版本Transformer

本文首先介绍了Transformer模型的基本结构，然后详细介绍了9篇针对Transformer效率优化、长序列建模优化的顶会论文。

原创 Meta-learning原来有这么多用途，一文汇总元学习在5个问题中的应用

本文梳理了业内近几年利用meta-learning解决不同场景问题的顶会论文，涉及meta-learning在域自适应、迁移学习、图学习、正负样本不均衡、知识蒸馏等多个场景的应用

原创 7篇顶会论文带你梳理多任务学习建模方法

本文从最基础的多任务学习开始，梳理了近几年来7篇多任务学习顶会相关工作，包括Hard/Soft Parameter Sharing、参数共享+门控、学习参数共享方式等建模方式。

原创 Meta-learning核心思想及近年顶会3个优化方向

本文首先从不同角度介绍对meta-learning的理解，然后进一步介绍meta-learning的典型模型MAML的原理。在此基础上，介绍了5篇近3年的顶会的论文，从3个角度揭示了meta-learning在学术界的优化方向。

原创 12篇顶会论文，深度学习时间序列预测经典方案汇总

本文介绍了深度学习模型在时间序列预测问题中的应用，主要包括RNN、CNN、Transformer、Nbeats等4种类型模型，以及12篇相关顶会论文，全面掌握深度学习时间序列预测方法。

原创 一文读懂CTR预估模型的发展历程

本文介绍了点击率预估模型的发展历程，从DNN模型和FM模型出发，介绍了FM和DNN相结合，以及针对DNN/FM问题进行的改进，梳理了近年来点击率预估模型的整体发展历程，包括DeepFM、FNN、PNN、DCN、Wide&Deep等

原创 Domain Adaptation：缺少有监督数据场景下的迁移学习利器

Domain Adaptation：缺少有监督数据场景下的迁移学习利器。迁移学习在无监督任务中的实现方法，介绍多篇顶会论文关于Domain Adaptation的最新研究

原创 微软开源项目NeuronBlocks：像搭积木一样构建自然语言理解深度学习模型

微软开源项目NeuronBlocks：像搭积木一样构建自然语言理解深度学习模型在构建自然语言理解深度学习模型时，工程师们经常需要在编程细节和代码调试上花费大量精力，而不是专注于模型架构设计与参数调节。为提升构建深度模型的效率，微软推出了开源项目NeuronBlocks，一个用于自然语言处理任务的深度学习工具包。NeuronBlocks将各种神经网络层封装为模块，通过配置简单的JSON文件...

原创 微软开源项目NeuronBlocks：像搭积木一样构建自然语言理解深度学习模型

NeuronBlocks - NLP DNN Toolkit https://github.com/Microsoft/NeuronBlocksOverviewNeuronBlocks is a NLP deep learning modeling toolkit that helps engineers to build end-to-end pipelines for neural net...

原创 书籍推荐——HTML5+JQuery Mobile移动应用开发

原创 Vue.js搭建移动端购物车界面－基本结构和数据渲染

使用Vue.js搭建移动端购物车

原创 不会对这些Web攻击设防，就别学开发了

进行Web开发，能实现基础功能，只是第一步。

原创 一起来学ES6—let变量

一起来学ES6—let变量

原创 Promise—javascript异步操作的潮流

介绍Promise概念和ES6中的用法