视频多模态模型——视频版ViT是什么？

Question

详细解读多模态论文《ViViT: A Video Vision Transformer》，2021由google 提出用于视频处理的视觉 Transformer 模型，在视频多模态领域有重要应用。

Answer 1

论文
摘要

1. 引言

2. 相关工作

3. 视频视觉Transformer

4. 1 视觉Transformer（ViT）概述

5. 2 嵌入视频片段
   均匀帧采样
   管块嵌入

6. 3 视频的Transformer模型
   模型1：时空注意力
   模型2：分解编码器
   模型3：分解自注意力
   模型4：分解点积注意力

7. 4 利用预训练模型进行初始化

8. 实验

9. 1 数据集

10. 2 实现细节

11. 3 结果

12. 4 消融研究

13. 结论
    热门专栏
    机器学习
    深度学习
    ————————————————

                         版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
    

原文链接：https://blog.csdn.net/haopinglianlian/article/details/145350284