2023年刷新五项SOTA,百度ActBERT:基于动作和局部物体视频文本特征模型

释放机器的心

机心编辑部

全球计算机视觉峰会CVPR 2023上,百度共收到22篇论文。 在这篇Oral论文中,百度提出了ActBERT。 该模型可以学习描述性视频进行无监督的视频文本关系,提出了一种纠缠编码器对局部区域、全局运动和语言文字进行编码。 最终在5个关联测评任务中得到了SOTA的结果。

ActBERT在下游的视频和语言任务,即文本视频段检索、视频描述生成、视频答疑、动作步骤定位等任务上明显优于其他技术,表现出了视频文本显示中的学习能力。

论文: 《ActBERT: Learning Global-Local Video-Text Representations》

论文链接: http://open access.the CVF.com/content _ cvpr _ 2023/papers/Zhu _ act Bert _ learning _ global-local _ Vidal _ vide

传统的基于BERT训练方式的视频语言建模一般通过量化视频帧特征的方式,通过聚类离散化将视觉特征转化为视觉单词。 但详细的局部信息,如交互在聚类过程中可能会丢失,避免模型进一步发现细粒度视频与文字的对应关系。 本文提出ActBERT从成对视频序列中挖掘全局和局部的视觉线索和文字描述,利用丰富的上下文信息和细粒度关系进行视频-文本联合建模,其贡献有三:

首先,ActBERT集成了全局操作、局部区域和文本说明。 “剪切”、“切片”等动作对各种与视频相关的下游任务很有用。 除了全局动作信息外,还可以组合局部区域信息以提供细粒度的视觉提示,区域还提供有关整个场景的详细视觉提示,例如区域对象的特征、对象的位置等。 语言模型可以受益于区域信息,提高语言和视觉的一致性。

其次,交织编码器模块从全局动作、局部区域、语言描述三个要素进行编码。 的纠缠码模块从三个来源进行多模态特性的学习,增强两种视觉提示和语言之间的交互功能。 在全球行为信息的指导下,向语言模型注入视觉信息,并将语言信息集成到视觉模型中。 与编码器相关联,动态选择合适的上下文以促进目标预测。

另外,提出4项训练任务学习ActBERT。 预训练后的ActBERT被转移到视频相关的5个下游任务,定量显示ActBERT达到了最先进的性能。

演算法

纠缠在一起的编码器

纠缠编码器包括三个编码器,三个编码器的输入来自三个源。 为了加强视觉和语言特征之间的交互,纠缠编码器将视觉信息注入到语言编码器中并将语言信息集成到视觉编码器中。 具体而言,交织编码器利用动作信息催化相互交流。

C_w是混合的语言表达,C_r是被引导领域的特征。 然后,C_w使用线性层获取新的键值对。 生成的键值对与原始a编码器和r编码器的键值对堆叠在一起。 通过这种方式,视觉和语言的特征进一步相连。

训练方式

本文提出四种训练方式进行模型学习。 一.有掩码的语言建模任务。 本文利用地域物体和全球动作中的视觉信号,发现视觉和语言实体的关系。 该任务需要在提取相关视觉特征的同时从上下文描述中学习模型以辅助文本预测。 动词剔除时,模型应利用动作特征进行更准确的预测。 当描述局部的名词被去除后,局部区域的特征可以提供更多的上下文信息。

第二,有口罩的动作分类任务。 这个任务是根据语言和物体的特征,预测被去除的动作标签。 明确的动作预测有两个优点。 1 )能够挖掘长动作序列的线索,其任务能够更好地分辨执行动作的时间序列; 2 )利用区域物体和语言文本可以实现更好的交叉模态建模。 该任务提高了预训练模型的行为识别能力,可以进一步推广到许多下游任务。

三.有口罩的物体分类任务。 在该任务中,局部区域对象的特征被随机移除。 其目标分布是将该区域输入同一目标检测模型得到的激活值。 优化的目标是最小化两个分布之间的KL差异。

第四,模式之间的匹配。 与以下语句预测( NSP )任务类似,在第一个符号( cls )输出之后添加了线性分类器,以指示语言和视觉特征之间的相关性。 分数高表示文本正确描述了视频剪辑。

实验

成套实验

ActBERT在HowTo100M数据集上进行预训练。 该数据集共包括23,611项任务,包括维护和修理、动物营救和食材准备等。 在五个任务中,评测提高了ActBERT的性能。

视频描述生成实验结果

ActBERT在所有指标上都优于VideoBERT,通过预训练学习了更好的视频表示,表明ActBERT在视频序列建模中是有效的。

动作分割实验结果

ActBERT明显优于基准方法。 这表示事先训练好的ActBERT只能处理视觉。 删除区域信息后,观察到性能下降,表明详细的局部线索对密集的视频帧标记任务起着重要的作用。

动作步骤定位实验结果

ActBERT成绩明显优于TVJE,平均上升7%。 这个结果比监督学习的性能更好。 为了与TVJE公平比较,本文删除了局部区域信息,该结果也明显优于TVJE,证明了ActBERT预训练的有效性。 完整的ActBERT机型更是,提高为4%。

文本视频剪辑检索和视频答疑的实验结果

不需要复杂的综合视频文本建模。 ActBERT明显优于现有的其他方法。 显示ActBERT在大数据集上的强大学习能力。

结论

ActBERT通过自我监控进行协作视频的文本建模。 该方法直接对全局和本地视觉信息建模,进行细粒度的视觉和语言关系学习。 ActBERT以信息的三个源作为输入,使用新的纠缠编码器进一步加强了三个源之间的交互。 5个视频文本基准的定量结果证明了ActBERT的有效性。 未来可以通过设计更强大的视频和文本学习模块来改进ActBERT,并应用于视频行为的识别和检测。

参考文献:

Linchao Zhu,Yi Yang,act Bert:learning global-local video-textrepresentations,CVPR 2023。

Antoine Miech et al .how to 100 m:learning atext-videoembeddingbywatchinghundredmillionnarratedvideoclips,ICCV 2023。

Chen Sun et al .video Bert:ajointmodelforvideoandlanguagerepresentationlearning,ICCV 2023

林晓珠,中文墟,Yi Yang,bidirectionalmultiratereconstructionfortemporalmodelinginvideos,CVPR 2023。

动态分享

详细讲解2023年电影《阿丽塔》 CG特效。普通大众怎么玩?

2022-12-12 9:45:34

动态分享

2023年性能稳定,试驾AUTOart 1/43帕加尼Huayra Coupe车型。

2022-12-12 9:47:36

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索