OmniNet：基于环视鱼眼镜头的多任务视觉感知系统

  作者丨黄浴@知乎

来源丨https://zhuanlan.zhihu.com/p/351965263

编辑丨3D视觉工坊

2021年2月15日上传arXiv论文：“OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving”，作者来自Valeo公司和德国一所大学。

本文讨论的是一个环视鱼眼镜头的多任务视觉感知系统，其完成的包括：深度估计、视觉里程计、语义和运动分割、目标检测和镜头污染检测。特别是提出了一个camera geometry based adaptation mechanism，对镜头畸变模型编码。由于方框不适合鱼眼镜头图像的目标表示，采用了polygon with non-uniformly sampled vertices。

整个网络称为OmniDet模型，输出结果如图为例：(a) Rear-Camera Input Image, (b) Distance Estimation, (c) Semantic Segmentation, (d) Motion Estimation, (e) 24-sided Polygon based Object Detection 和 (f) Soiling Segmentation (asynchronous)。

首先是无监督深度估计和视觉里程计：基于作者以前的工作FisheyeDistanceNet。

目标检测：采用YOLO3，基于针对鱼眼镜头的目标polygon表示，即PolyYOLO。

关于目标表示法的性能比较如表：

分割任务是有监督的：基于Lovasz-Softmax loss 和 Focal loss。

污染检测：基于作者之前的模型SoilingNet，但采用asynchronous backpropagation，调整解码器部分，训练中固定编码器部分。输出也从格子变成pixel level segmentation。

如表是joint training中任务加权方法比较：其中有 uncertainty loss （Kendall）, gradient magnitude normalization GradNorm, dynamic task prioritization DTP, dynamic weight average DWA 和 geometric loss。作者提出的是VarNorm for variance normalization。

本文提出camera geometry tensor 处理 multiple viewpoints，类似工作如CAM-Convs；同时改变camera’s intrinsic distance estimation方法。

在Woodscape fisheye dataset, 有12 组不同的摄像头，其intrinsic parameter有些变化。采用单个模型的好处是：(1) 嵌入系统而已，这样存储小，数据读取快，效率高；(2) 训练数据更大 和不同视角图像正则化容易；(3) 维护模型简单。

如图所示：上述工作即Self-Attention Network (SAN) encoder module。

在多任务的框架下，协调工作有：

1）处理动态目标和无限深度范围；

2）语义导引的深度头和检测头；

3）自注意机制和语义特征对检测的帮助。

这些工作带来的性能提升见下表：

这是深度模型估计的性能比较：

这是VO模型的性能比较：

关于多任务和单任务训练的性能比较如下表：

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~