2023年ECCV |只用全连接层处理视频数据,美图\u0026NUS实现高效视频时空建模。

机器之心专栏

机心编辑部

为了解决非常困难的视频时空建模问题,美国图像研究院( MT Lab )和新加坡国立大学提出了一种高效的多层感知机模型( MLP )视频主干网。 该方法只通过简单的全连接层处理视频数据,在处理提高效率的同时有效地学习了视频中细粒度的特征,提高了视频主干网的网络框架精度。 另外,使该网络适合图像域(图像分类分割)也取得了有竞争力的结果。

论文链接: https://arxiv.org/abs/2111.12527

GitHub链接: https://github.com/MTLab/MorphMLP

引言

由于visiontransformer(vit ) [1]的开创性工作,基于注意力的体系结构在各种计算机视觉任务中表现出了强大的能力,从图像域到视频域都取得了良好的效果。 但近期研究显示,自我注意力可能并不重要,因为它会被简单的多层感知器( MLP )取代。 目前,通过替换注意力框架的方法为图像域任务开发了许多类似MLP的体系结构,并取得了可喜的成果。 然而,由于该APP应用在视频域中还是个空白,是否有可能设计通用的MLP视频域架构成为人们关注的新问题。

美国图像研究院( MT Lab )联合新加坡国立大学Show Lab提出了MLP视频主干网,实现了视频分类上的高效视频时空建模。 该网络模型在空间上提出了MorphFC,初始层关注的是局部细节,但随着网络的深入,逐渐过渡到远程信息的建模,克服了目前CNN和MLP模型只能进行局部或全局建模的问题在时间上,该网络模型引入了捕获视频中长期时间信息的时间路径,将所有相同空间位置帧的像素连接在一起,合并成一个块。 同时,各块经过全连接层处理得到新的块。

在空间时间建模的基础上,研究者们广泛探索了构建视频主干网的各种方法,最终将空间时间信息按连锁顺序依次建模,用高效的时空表示学习框架进行表达。 该网络模型首次提出了不利用卷积和注意力机制,只在全连接层进行高效的视频时空建模的方法,与以前的视频CNN和Transformer架构相比,该网络模型在提高精度的同时降低了计算量另外,使该网络适合图像域(图像分类分割)也取得了有竞争力的结果。 该论文目前已被国际会议ECCV 2023收到。

背景介绍

由于MLP模型尚未应用于视频领域,研究者们首先分析了在时空表示学习框架中使用MLP面临的挑战。

从空间角度看,目前的MLP模型对语义细节缺乏深入的理解。 这主要是因为,在忽略分层学习的视觉特征的同时,通过空间中的所有令牌全局操作MLP,如下图1所示。 从时间的角度来看,学习视频中帧的长期依赖目前已经通过基于视频的变换实现,但计算时间代价巨大。 因此,用连接层代替远程聚合的自我注意力对节约计算时间至关重要。

图1 :特征可视化

为了应对这些挑战,研究者们提出了一种高效的MLP视频表示学习体系结构MorpMLP。 由MorphFCs和MorphFCt两个重要层组成。 研究人员沿着长度和宽度的方向逐渐扩大感受域,使MorphFC能有效地捕捉空间中的核心意义。

图2 :操作概述

与现有的MLP模型设计相比,该渐进模型在空间建模方面带来了以下两个优点。

首先,通过从小空间领域到大空间领域操作所有连接层,可以学习层次性的交互,发现判别性的详细内容

第二,这种从小区域到大区域的建模可以有效地减少用于空间建模的所有连接层的操作计算量。

另外,MorphFCt可以自适应地捕捉与帧的定时远程依赖性。 研究人员将所有帧中各空间位置的特征连接成一个时间块。 这样,所有连接层可以有效地处理每个时间块,并对长期的时间依赖进行建模。 最后,按顺序排列MorphFC和MorphFCt构建MorphMLP块,将这些块叠加在通用的MorphMLP主干网上进行视频建模。

另一方面,这种分层方式可以增强MorphFCs和MorphFCt的合作能力,学习视频中复杂的时空交互; 另一方面,这种多尺度和多维分解方法取得了正确性和效率的平衡。 MorphMLP是第一个为视频领域构建的高效MLP体系结构,与目前为止最先进的视频模型相比,计算量大幅减少,精度更高。

MorphMLP的时空建模模型

空间建模

如上所述,挖掘中心意义对视频识别很重要。 典型的CNN和以前的MLP-Like体系结构无法实现,因为它们只关注本地或全局信息建模。

为了应对这个挑战,研究者们提出了新的MorphFC层。 它可以分层扩展全连接层的感觉区,从小区域运行到大区域,在水平方向和垂直方向上独立处理各帧。 以水平方向处理为例,如以下图3的蓝色块部分所示,如果存在某帧,则首先将该帧沿水平方向分割而形成块,将各块沿信道维度分割为多个组,从而降低计算成本。

然后,将每组展平为一维向量,并应用所有连接层进行特征转换。 特征转换完成后,重建所有组,恢复到该框架的原始维,垂直处理方法相同。 (图3中的绿色块部分)。 除了水平和垂直分割外,还应用所有连接层来单独处理每个空间位置,以便组和组之间可以沿着信道维度进行通信。

最后,添加水平、垂直和通道特征。 随着网络的深入,块长度的层次增加,所有连接层从小空间领域到大空间领域,可以阶段性地发现更多的核心语义。

图3 :空间建模

时间建模

除了水平路径和垂直路径之外,研究人员还引入了另一个时间路径,目的是使用简单的全连接层以低计算成本捕获长期的时间信息。

具体而言,给定输入视频后,沿信道维度分几组降低计算成本,将各空间位置所有帧的特征连接为一个块,然后应用全连接层变换时间特征,最后将所有块重建为原维度。 以此方式,所有级联层可简单地聚合块中沿时间维度的依赖性,以对时间建模(以下图4的橙色块部分)。

图4 :空间建模

时空建模

连接时间和空间的所有连接层,实现更稳定的时空优化收敛,降低计算复杂度,最终构建了利用所有连接层提取视频特征的主干网。 具体如图5所示。 在此基础上,只需舍弃时间维度即可完成对图像场的拟合。

图5 :网络体系结构

结果

表1 ) k400数据集上精度和计算量的表示

表2 ) Something-Something数据集上的准确率和计算量的表示

表3 )图像领域对ImageNet的准确率和计算量的表现

表4 )图像分割表示

总结

在本稿中,提出了没有用于动画表示学习的注意力的、类似MLP的主干网络MorphMLP。 该方法可以逐步发现核心语义并捕获长期的时间信息,这也是视频领域应用MLP架构的第一个主干网。 实验表明,这种无自我注意力模型与基于自我注意力的体系结构一样强大,优于基于自我注意力的体系结构。

引用文献

[1] Dosovitskiy,a .Beyer,l .Kolesnikov,a .Weissenborn,d .Zhai,x .Unterthiner,t .Dehghani,m . n. animageisworth 16 x 16 words:transformersforimagerecognitionatscale.in:internationalconferer

动态分享

2023年,他既是“设计师”,又是“小木匠”,小学生做创意实验桌模型。

2022-12-7 21:40:49

动态分享

如何获得2023年微信朋友圈的花瓣掉落效果?教程是什么app软件分享?

2022-12-7 21:42:51

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索