zifeng wu instance level segmentation：Bridging Category-level and Instance-level Semantic Image

最新推荐文章于 2025-01-13 16:08:13 发布
最新推荐文章于 2025-01-13 16:08:13 发布
阅读量3.3k 收藏
点赞数
文章标签： instance segmentati 分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bea_tree/article/details/59480787
版权
本文介绍了一种基于ResNet网络的实例分割方法，通过引入超参数优化和困难样本选择策略，在图像分类和目标检测任务上取得了显著的效果提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是arXiv上去年5月份的文章，依然是zifeng wu的工作。

一句话总结

作者ResNet网络的各种超参的作用，最后得到了在当时state of the art的分割成绩，并提出了自己的instance-level semantic的方式，并提出了困难样本选择的方法。

1 instance segmentation

整体结构：
这里写图片描述
这里包含两个网络，图像category-level的segmentation net及负责定位的网络。主要步骤如下：
1. 分割网络得到score maps
2. 以smoothed L1 loss训练的定位网络，以每个像素到其所属instance中心的距离及instance的宽高为回归目标，得到一个初步的定位信息，即transform map。该网络训练的时候根据个体大小进行reweight
3. 每个类别得到n个mask（score map），将transform map应用于这n个score map，将mask内的点的Bounding box进行NMS，其中score最高的中心像素点作为instance的标志。
4. 根据每个score map的点 trace back所有的前景像素点得到像素级的分割，将每个scoremap得到的分割进行nms，得到最终的instance segmentation。

2 困难像素选择

首先作者假设太容易的样本无益于训练，因此只训练对当前模型有一定难度的样本。
这里写图片描述
- 分类网络的困难样本中根据预测的概率大小选择一个阈值进行筛选，注意不能使用太大的阈值，否则噪音太多
- 回归网络中，不是根据四个目标值的loss选择而是根据 IoU得分选择。

3 网络超参数

对于分类网络：
1. 网络深度从50增加至101得到较大提高，从101到152增益效果小（可能由于过拟合）
2. 增加 feature map的 resolution 有益
3. 增加感受野（大于224）也有益，但是大于
4. 以上操作增加了计算量及显存容量
一些结果如下，注意红线部分
这里写图片描述
这里写图片描述
bs是困难样本选择
这里写图片描述
这里写图片描述
这里写图片描述

实例分割：Hybrid Task Cascade for Instance Segmentation【方法解读】
sinat_39783664的博客
08-27 292
“实例分割Hybrid Task Cascade for Instance Segmentation” 方法部分解读
Zifeng Wu的38层网络：Wider or Deeper: Revisiting the ResNet Model for Visual Recognition
bea_tree的博客
02-21 7589
故事背景 文章：Wider or Deeper: Revisiting the ResNet Model for Visual Recognition 代码：https://github.com/itijyou/ademxapp 这是adelaide沈春华老师组的一篇文章，一作是zifeng wu 在Pascal上得到了很好的结果，最终仅比商汤的低一点，之前笔者曾经
浅读"Instance-Level Salient Object Segmentation"
LegendaryFour的博客
07-18 1940
论文主要目的         解决基于实例水平上的多尺度显著物体检测并分割的问题   论文研究背景         在之前的研究中，只做了像素水平上的显著区域分类问题和单尺度的显著性掩模生成问题，对多尺度和实例分割(instance-level segmentation)没有太好的解决方法。​   论文主要框架 &n...
[深度学习论文笔记][Instance Segmentation] Instance-aware Semantic Segmentation via Multi-task Network Cascad
Hao_Zhang_Vision的博客
11-13 2195
Dai, Jifeng, Kaiming He, and Jian Sun. “Instance-aware semantic segmentation via multitask network cascades.” arXiv preprint arXiv:1512.04412 (2015). (Citations: 40). 1 Motivation All previous w
3D-RCNN: Instance-level 3D Object Reconstruction via Render-and-Compare
07-04
We present a fast inverse-graphics framework for instance-level 3D scene understanding. We train a deep convolutional network that learns to map image regions to the full 3D shape and pose of all object instances in the image. Our method produces a compact 3D representation of the scene, which can be readily used for applications like autonomous driving. Many traditional 2D vision outputs, like instance segmentations and depth-maps, can be obtained by simply rendering our output 3D scene model. We exploit class-specific shape priors by learning a low dimensional shape-space from collections of CAD models. We present novel representations of shape and pose, that strive towards better 3D equivariance and generalization. In order to exploit rich supervisory signals in the form of 2D annotations like segmentation, we propose a differentiable Render-and-Compare loss that allows 3D shape and pose to be learned with 2D supervision. We evaluate our method on the challenging real-world datasets of Pascal3D+ and KITTI, where we achieve state-of-the-art results.
DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks
weixin_37731534的博客
03-28 1040
本文均为总结其他人的博客对遇见的一些问题的解决，如有侵权，请联系删帖 论文标题 ：DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks 论文提出的难点： （1）本论文采用的是无监督学习的方法，没有配对数据的情况下，很难找到正确的对应关系 （2）set-level约束不能学...
instance segmentation系列方法总结
u011114913的博客
06-29 2420
总结个人在过去一段时间内关于实例分割的学习内容，开博待更
DFAnet：Deep Feature Aggregation for Real-time Semantic Segmentation自己翻译的
qq_35495665的博客
10-23 1531
DFAnet：Deep Feature Aggregation for Real-time Semantic Segmentation Abstract 一、从单一的轻量级主干出发，通过子网络和子级连接分别聚合识别特征 二、基于多尺度特征传播，DFANet极大的减少了参数数量，同时保持了有效的感受野，并且增强了模型的学习能力 三、在数据集Cityscapes 和 CamVid 进行测试，与stat...
ICLR2024论文解读|BIOBRIDGE: BRIDGING BIOMEDICAL FOUNDATION MODELS VIA KNOWLEDGE GRAPHS生物医学基础模型的桥接：通过知识图谱
paixiaoxin的博客
01-13 382
本文提出了BioBRIDGE，一个参数高效的框架，旨在连接独立训练的单模态生物医学基础模型（FMs），以实现多模态行为。BioBRIDGE通过利用知识图谱（KG）学习不同单模态FM之间的转换，而无需微调任何底层单模态FM。实验结果表明，BioBRIDGE在跨模态检索任务中超越了最佳基线KG嵌入方法（平均提高约76.3%），并展现出域外泛化能力。此外，BioBRIDGE还被证明是一种通用的检索器，能够辅助生物医学多模态问答，并增强新药的引导生成。
lsd-slam 更改后ubuntu16.04/linuxmint18.3可运行版本
08-30
https://blog.csdn.net/softimite_zifeng/article/details/78632653 https://blog.csdn.net/windfly_al/article/details/79439037 我自己就是遇到上面的一些问题，然后按照链接中的方法修改后运行的，该资源为修改后...
论文阅读笔记《Instance-Level Embedding Adaptation for Few-Shot Learning》
深视
09-21 1978
小样本学习&元学习经典论文整理||持续更新 核心思想   本文提出一种基于度量学习的小样本学习算法（AAM），作者认为由于测试集和训练集的样本是来自不同分布的，且测试集的支持集中仅包含少量的样本，因此生成的类别表征是不可靠的。另一方面由于查询样本也存在较大的随机性，可能对应类别的类别表征并不相似，这样就容易导致误分类。作者提出一种注意力自适应模块（Attention Adaptation Module，AAM）用于调整类别表征和查询样本的特征向量，使其与对应类别的类别表征之间的距离更近。   本文思
ICCV 2017 Tutorial on Instance-level Visual Recohnition(slide1 introduction)
wei_guo_xd的博客
11-22 461
教程--实例层面的视觉识别 识别的复杂度不断增加 数字分类（MNIST） 面部识别 边缘检测 图像分类（Caltech101） 大尺度图像分类（ImageNet） 目标检测和语义分割（PASCAL VOC） 实例分割和姿态估计（MS COCO） 实例级的识别 目标：识别场景（图像）内的所有目标实例 为每个目标放置一个边界框（目标检测
【读书笔记】DA-GAN: Instance-level Image Translation
My Blog
03-22 4997
Abstract 旨在翻译两组独立图像的无监督图像翻译在没有配对数据而找到正确对应方面上具有挑战性。基于GAN展开的研究工作使得翻译图像的分布与目标集合的分布无法区分。然而，这样的集合约束不能学习实例级别的对应关系（例如对象配置任务中对齐的语义部分）。这种限制常常导致误报（例如几何或语义伪像），并进一步导致模式崩溃问题。为了解决上述问题，我们提出了一个由Deep Attention GAN（DA...
[论文阅读] Instance-level salient object segmentation
xiongxyowo的博客
12-17 1076
论文地址：https://doi.org/10.1016/j.cviu.2021.103207 代码：https://github.com/Kinpzz/MSRNet-CVIU 发表于：CVIU.21 注：本文原发表于CVPR.17 Abstract 由于深度卷积神经网络的发展，图像显著性检测最近取得了巨大成功。然而，大多数现有的显著目标检测方法不能识别检测到的显著区域中的单个物体实例。在本文中，我们提出了一种显著性实例分割方法，该方法可以为输入图像产生一个具有明显对象实例标签的显著图。我们的方法由三个主要
【论文整理】Deep Level Set & Deep Active Contour
学习 & 分享 ~
07-15 1159
End-to-end：[1] Deep Convolutional Level Set Method for Image Segmentation，2017 CVPR 代码：https://github.com/wiseodd/cnn-levelset[2] Object Instance Annotation With Deep Extreme Level Set Evolution，2019 CVPR[3] Deep Active Contours，CVPR 2016[4] Learning deep
论文阅读：Instance-Level Salient Object Segmentation
Ethan_Wuuu的博客
08-08 4168
论文目的：saliency detection 和 salient object segmentation本文框架：首先，作者提出a deep multiscale refinement network（MSRNet），并用这个网络分别获得了salient region detection和salient object contour detection。其次，使用MCG方法，计算之前contour
图像检索中的概念
PyBigStar的博客
12-02 665
class-level retrival是类级别的检索，而instance-level retrival是实例级别的检索。即前者能匹配的正确图像在数据库中可能有很多，而后者能匹配的正确图像在数据库中只有一个。**例如，**要找“一个穿蓝色衣服的金发女郎在打车。” 实际上你只有一个正确答案。不像class-level 或category-level的 要找“女性“可能有很多个正确答案。所以这个问题更细粒度，也更需要detail的视觉和文本特征。 ...
【论文研读】Category-level Adversaries for Semantics Consistent Domain Adaptation（cvpr2019）
Always_ease的博客
04-18 1639
原文链接：Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation 作者：Yawei Luo , Liang Zheng，Tao Guan , Junqing Yu , Yi Yang 一、背景知识介绍 1、语义分割： 1）定义：给...
DeepLab：深度卷积网络，多孔卷积 和全连接条件随机场 的图像语义分割 Semantic Image Segmentation with Deep Convolutional Nets, Atro
热门推荐
Taylor Guo
05-04 4万+
深度卷积网络，多孔卷积 和全连接条件随机场 的图像语义分割 DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 本文的主要任务是深度学习的图像语义分割
vue-devtools vue2
最新发布
03-31
### 安装与使用 Vue Devtools (兼容 Vue 2) 为了在 Vue 2 项目中成功安装并启用 Vue Devtools，可以按照以下方式操作： #### 1. **安装 Vue Devtools** 可以通过浏览器扩展程序的方式安装 Vue Devtools。以下是具体步骤： - 对于 Chrome 浏览器，访问 [Chrome Web Store](https://chrome.google.com/webstore/detail/vuejs-devtools/nhdogjmejiglipccpnnnanhbledajbpd)，点击“添加至 Chrome”按钮完成安装[^3]。 - 如果使用 Firefox，则可以从官方 GitHub 页面找到对应的构建命令来强制启动开发工具支持 `$ yarn run build` 和 `$ yarn run run:firefox`。 #### 2. **配置 Vue 应用以启用 Devtools** 在项目的入口文件 `App.vue` 中，通过设置全局变量 `Vue.config.devtools` 来控制是否允许调试模式运行。例如，在开发环境中开启此功能可按如下代码实现: ```javascript // main.js 或其他初始化文件 import Vue from 'vue'; import App from './App.vue'; Vue.config.productionTip = false; if (process.env.NODE_ENV === 'development') { Vue.config.devtools = true; // 开发环境下启用 devtools 支持 } else { Vue.config.devtools = false; // 生产环境关闭 devtools 防止性能损耗 } new Vue({ render: h => h(App), }).$mount('#app'); ``` 上述逻辑确保仅当应用处于开发阶段时才激活开发者工具连接能力。 #### 3. **验证安装效果** 一旦完成了以上两步之后，重新加载您的 Vue CLI 构建的应用页面，并打开浏览器的开发者选项卡查看是否有新的面板显示出来用于监控数据流以及组件树结构等内容。如果一切正常的话，应该能够看到类似于下图所示界面（假设已正确集成）。 请注意版本匹配问题——当前最新版可能默认针对 Vue 3 设计；因此建议下载指定分支如 legacy 版本来保障完全适配旧框架特性需求。 ```bash npm install -g @vue/cli vue add vuetify # 只是一个例子说明如何利用插件系统定制化工作流程 yarn global add vue-devtools@next || npm i -D vue-devtools@legacy ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值