车辆2D/3D--Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis

最新推荐文章于 2024-09-11 09:43:57 发布
最新推荐文章于 2024-09-11 09:43:57 发布
阅读量2.5k 收藏 6
点赞数 1
分类专栏： CVPR2017
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjunhit/article/details/76169499
版权
DeepMANTA是一种多任务卷积神经网络，可以从单目图像中同时进行车辆区域提议、检测、2D框回归、部件定位、部件可见性和3D模板预测等六种任务。该方法采用统一的损失函数来联合训练这些任务，并在KITTI数据集上验证了其有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis from monocular image
CVPR2017
https://arxiv.org/abs/1703.07570

自动驾驶 很快就可以达到实用的水平了。

本文的功能是：给一张灰度图像，使用 多任务CNN网络 Deep MANTA 可以给出6个信息： region proposal, detection, 2D box regression, part localization, part visibility and 3D template prediction，通过定义 Many-task loss functions 实现

先上图来个感性认识：
这里写图片描述

Deep MANTA 整个网络流程图如下所示：
这里写图片描述
这里写图片描述
Conv layers with the same color share the same weights

怎么从2D 信息推理出 3D 信息了？
首先我们利用了2个3D 的数据库 3D shape and template datasets
这里写图片描述

2D/3D vehicle model
这里写图片描述

数据标记问题怎么解决
Semi-automatic annotation process
这里写图片描述

  1. Experiments
    这里写图片描述

这里写图片描述
http://www.cvlibs.net/datasets/kitti/eval_object_detail.php?&result=6759889c0a252c63765d5e2e69cb8b1433cadb0a
Running time: 0.7 s
Environment: GPU @ 2.5 Ghz (Python + C/C++)

这里写图片描述

这里写图片描述

这里写图片描述

Deep Manta：单目图像下2d到3d由粗到精的多任务网络车辆分析
3D视觉工坊
11-27 591
原文首发于微信公众号「3D视觉工坊」——Deep Manta：单目图像下2d到3d由粗到精的多任务网络车辆分析 外文原文：Deep manta: A coarse-to-fine many-task network for joint 2d and 3d vehicle analysis from monocular image 1、算法思想 提出 Deep Many-Tasks 方...
Deep Manta：从单目图像到3D的多任务网络车辆分析——精细化的2D到3D转换
DevGOOD的博客
09-09 131
在计算机视觉领域，通过单目图像实现车辆的2D到3D转换一直是一个具有挑战性的任务。本文将介绍一种名为Deep Manta的多任务网络，该网络能够通过单目图像进行车辆分析，并逐步精细化2D到3D的转换过程。3D转换模块负责将2D车辆分析结果转换为3D表示。这里我们使用简化的方法，将2D边界框的中心点作为车辆位置的估计。该网络由两个主要部分组成：2D车辆分析模块和3D转换模块。我们将2D车辆分析模块和3D转换模块组合在一起。Deep Manta：从单目图像到3D的多任务网络车辆分析——精细化的2D到3D转换。
论文阅读：Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis
brucedai003的博客
06-25 3187
这篇论文是在2017年3月22日发表在CVPR上的，作者在这篇论文中提出了一个叫做深度从粗糙到精细化的多任务卷积神经网络（Deep MANTA），该模型可以用于对一张图片中的车辆进行多任务的分析。该网络同时执行的多任务包括：车辆检测、部件定位、可见性描述和三维估计。整个架构是用一种新颖的从粗糙到精细化的候选区域提取的深度网络，类似于候选区域生成网络(RPN)，但是基于此进行了改进。另外，该方法能够定
车辆检测“Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis from monoc”
cv_family_z的博客
08-01 2827
Deep Many Task，同时进行车辆检测，部件定位，可视化特征描述及3D维度估计。基于coarse-to-fine的目标proposal结构提升检测性能。Deep MANTA可以定位不可见的车辆部位。应用 3D车辆定位和方向估计可用于估计车辆速度和方向。论文第一个贡献是使用车辆特征点编码3D车辆信息，车辆是刚性的，可通过回归的方法预测隐藏的部分。结合3D数据集，将3D点投影到2D图像中的车辆
论文：Deep MANTA
xxiaozr的博客
06-04 1035
Abstract:提出 Deep Many-Tasks 方法来对一个图片进行多任务车辆分析，包括车辆检测，部分定位，可见性描述和 3D维度估计1.Introduction为了获得周围车辆的速度和方向，3D 车辆定位和方向的预测十分重要。为了很好的交通理解，对周围车辆的描述也很重要，例如车大灯的定位可以帮助确定车辆的方向，车辆部件可视性有助于整体场景的解释。我们提出了一个方法来从单个 image 得...
计算机视觉学习资料汇总（超多干货）
qq_29462849的博客
12-21 4177
前言 本资料首发于公众号【3D视觉工坊】，更多干货请关注公众号后台回复关键字获取~ （一）基础操作 Linux 学习网站 Linux中国：https://linux.cn/ 鸟哥的linux私房菜：http://linux.vbird.org/ Linux公社： https://www.linuxidc.com/ 学习书籍 《鸟哥的Linux私房菜》 《Linux命令行与shell脚本编程大全》 ...
3D目标检测论文汇总
qq_29462849的博客
12-14 2103
一、单目图像下的3D目标检测 1、YOLO3D 2、SSD-6D 3、3D Bounding Box Estimation Using Deep Learning and Geometry 4、GS3D:An Effcient 3D Object Detection Framework for Autonomous Driving 5、Deep MANTA: A Coarse-to-fine Ma...
Deep manta算法解析
qq_29462849的博客
06-08 1534
算法思想 提出 Deep Many-Tasks 方法来对一个图片进行多任务车辆分析，包括车辆检测，部分定位，可见性描述和 3D维度估计。 论文的主要贡献包括三个方面： 使用图像车辆的特征点来编码 3D 车辆信息。因为车辆具有已知的形状，可以用单目图像重构 3D 车辆信息。我们的方法还可以在车辆部件被遮挡，截断等情况下定位到车辆部件，使用回归的方法而不是 part detector. 预测 hid...
【转】Deep MANTA论文阅读笔记
lanyuxuan100的博客
01-11 906
转自：https://zhuanlan.zhihu.com/p/25996617 （注：阅读笔记有很多自己的主观判断和解释，会有错误与误解之处，也在持续修改中，希望大家能够共同讨论进步，加深理解。） 一、研究背景及思路： 在2D图像物体检测任务中，RCNN、Fast RCNN、Faster RCNN以及刚发布的mask-RCNN等算法，对于单张图像物体检测均取得了较好的效果，对自动驾
基于姿势的行为识别matlab程序
12-02
基于姿势的行为识别matlab程序，使用pose提取关节特征进行行为识别，matlab版本要2014年的，16年的估计也行
3D目标检测 车辆检测 自动驾驶
08-12
3D目标检测，车辆检测的立体检测，自动驾驶前沿技术。
目标检测 | Deep MANTA 算法笔记
xiao_lxl的专栏
04-01 1329
会议：CVPR 2017 标题：《Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis from monocular image》 论文链接： https://arxiv.org/abs/1703.07570 本文仅作为个人学习笔记分享，图片来自于论文，如有侵权，请联系删除。 主要思想...
#每天一一篇论文# （225/365）单目3D联合车辆识别和检测
流浪机器人的博客
09-15 2358
Joint Monocular 3D Vehicle Detection and Tracking 摘要 单目摄像机的三维车辆检测和跟踪需要对车辆进行检测和关联，并估计其位置和范围。由于车辆处于恒定运动状态，无法从单个图像中恢复三维位置，因此具有一定的挑战性，本文提出了一种新的联合检测和跟踪三维车辆包围盒的框架。我们的方法利用三维姿态估计来学习二维面片关联超时，并利用跟踪得到的时间信息来获得稳定的...
Deep3D: Fully automatic 2D-to-3D video conversion with deep convolutional neural networks
momo的博客
05-03 553
网络中间部分输出了left view 和 right view的视差图 (disparity map)，but this is only used for minimizing the MAE between the predicted right view and the ground truth. Therefore, the “disparity map” is not “real” and “accurate”.我猜测可能还因为是拍摄角度的转变以及有效信息占比的减少（多输入数据的干扰）。
Deep3D: 实时端到端2D转3D视频转换教程
最新发布
gitblog_00137的博客
09-11 969
Deep3D: 实时端到端2D转3D视频转换教程 项目地址:https://gitcode.com/gh_mirrors/dee/Deep3D 项目介绍 Deep3D 是一个基于深度学习的实时2D至3D视频转换开源项目。它采用MXNet框架实现，能够从单个2D图像中估计深度图，并据此创建出具有立体效果的双视图图像。不同于传统的依赖于已配对的图像和深度数据集训练的方法，Deep3D通过使深度映射成...
一文纵览无监督学习研究现状：从自编码器到生成对抗网络
mmc2015的专栏
05-08 5521
这篇文章确实写的不错，总结无监督学习的方法如下： 1）自编码器 2）聚类学习 3）生成对抗网络 4）设计不需要标签的无监督学习任务，直接从无标签的数据中学习模型 视觉表征：通过解决拼图问题来进行无监督学习确实是一个聪明的技巧。将图像分割成了拼图，并且训练深度网络来解决拼图问题。 视觉表征：通过图像补丁和布局来进行无监督学习也是一个聪明的技巧。让同一幅图像上的两个补丁紧密分布。这些补
3d lidar点云数据处理
Luemmm的博客
04-12 7638
点击打开链接
3D Fully Convolutional Network for Vehicle Detection in Point Cloud解析(3D-CNN模型）
hit1524468的专栏
04-20 2166
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值