来源:我知道这篇文章是论文。建议看5分钟。我们设计了一种新的自校正策略,使网络能够修复库中不同质量的掩码嵌入。
基于时空记忆的视频对象分割(VOS)网络通常每隔几帧增加存储库,表现出良好的性能。但是,1)随着视频长度的增加,硬件无法承受不断增加的内存需求。2)存储大量信息必然会引入大量噪音,不利于从存储库中读取最重要的信息。在本文中,我们提出了一个循环动态嵌入(RDE)来建立一个固定大小的知识库。具体来说,我们通过提出的时空聚合模块(SAM)显式地生成和更新RDE,该模块利用了历史信息的线索。为了避免重复使用SAM造成的误差积累,我们在训练阶段提出了无偏损失,使得SAM在长视频中更加鲁棒。此外,由于网络推断不准确,记忆库中预测的掩码不准确,影响了查询帧的分割。为了解决这个问题,我们设计了一种新的自我修正策略,使得网络能够修复存储库中不同质量的掩码嵌入。大量实验表明,我们的方法在性能和速度之间取得了最好的折衷。代码可从https://github.com/.李明星00/rde-vos-cvpr2022获得