Deep Multi-task Learning for Facial Expression Recognition 阅读笔记

分享一篇《Deep Multi-task Learning for Facial Expression Recognition and Synthesis Based on Selective Feature Sharing》，作者提出了一种带有卷积特征泄露单元的多任务网络结构，可以在面部表情识别任务和面部表情合成任务之间通过ConvFLU过滤掉无用和导致损害的特征的方式有选择地传递有益特征。并且使用面部表情合成分支来扩大和平衡训练数据集来提升网络的泛化能力。实验表明所提出的多任务网络在人脸表情图像的识别与合成方面取得了良好的效果。

Multi-task network：

多任务网络中有两个分支，分别是FER（面部表情识别）分支和FES（面部表情合成）分支。在两个分支中前四个卷积块都由ConvFLUs（Convolutional Feature Leaky Units）相连，分别针对FER和FES任务提取判别特征。fcls 根据FER分支提出的特征对输入图片的表情进行预测输出概率分布Pz 。在FES分支中，变量z 控制合成图片的表情，ftra 对输入的信息进行编码，产生与FES分支提取的同样尺寸的feature maps，再将这两种feature maps进行通道融合，最后解码器fdec 对合并后的feature maps进行重建࿰