Spindle Net

Spindle Net

论文：Spindle Net:Person Re-Identification with Human Body Region Guide Feature Decomposition and Fusion,cvpr,2017

论文地址：链接

代码：SpindleNet

摘要

背景：由检测算和姿势变化引起的行人身体不对准的问题会为不同图像间的特征匹配造成严重的影响。

贡献：本文提出了一种基于人体区域引导的多阶段特征分解和树形结构的竞争特征融合的新型卷积神经网络-SpindleNet，首次在ReID 中考虑人体结构信息，帮助对齐不同图像中的人体区域特征，增强局部细节信息的表示能力。SpindleNet 包括两个步骤：（1）不同语义层次的特征在不同阶段进行提取。（2）合并不同语义层的特征。还提出了一个ReID 数据集—SenseReID.

引言

在匹配过程中，存在行人的不同图像语义信息不对齐，局部遮挡等现象，如下图：

网络结构

1、Body Region Proposal Network（RPN)

RPN用于提取行人的区域，分为七个部分：肩膀上、上半身、下半身、左右手、左右脚，如下图示：

Step1:定位输入图片的14个关键节点

借鉴了CPM(一种姿态估计网络)，利用Sequential framework 以由粗到细的方式来生成响应图，全卷积网络——> 14个response map(14个关节heatmap)

• 在每个阶段，CNN提取特征并结合上一个阶段的响应图来refine关键点估计的位置

  对CPM进行修改来降低其复杂度：

  • 共享前几层的卷积参数
  • 用s=2的卷积代替池化层
  • 减小了输入大小、阶段数、卷积层的通道数

• 14个关节点可以通过最大化特征图上的值得到：
  P i = [ x i , y i ] = a r g max