ICCV 2023开源 | 最新跟踪一切！分割一切视频版来了！

作者：泡椒味的口香糖 | 来源：3D视觉工坊

添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。

0. 笔者个人体会

视频分割相较于图像分割，最大难点在于长序列中相同类别的数据关联，也就是如何保证这一帧分割出的目标，下一帧还能稳定分割。传统的端到端视频跟踪模型，主要还是遵循一个"检测跟踪"的范式，然后使用短时模块来关联帧间分割。这种方法的缺点是对误检很敏感，而且很难处理长序列，对训练数据的要求也非常大。

今天笔者将为大家带来一项新的"跟踪一切"的工作DEVA，与之前的"跟踪一切"不同，这篇文章不是跟踪像素，也不是目标跟踪，而是目标分割跟踪。DEVA实际上是对SAM的扩展，首先对视频帧进行分割，然后使用一项新的双向传播机制来实现帧间分割的关联，对训练数据的需求量非常低，效果非常好，而且很容易泛化到各个下游任务中。

1. 效果展示

DEVA可以进行鲁棒的全视频全景分割跟踪，保持帧间一致性，轻松应对各种复杂场景。