谷歌开源智能电影重拍( Reframe )框架AutoFlip可以通过人工智能分析电影内容，并根据指定大小自动重剪新电影。 AutoFlip基于MediaPipe框架，MediaPipe是用于处理时间序列多模式数据的开发流水线。
谷歌表示，电影通常采用16:9或4:3的宽高比，以便在电视或计算机屏幕上经常观看，但目前越来越多的用户在移动设备上创建和观看图像内容。 传统的宽高比不适合移动设备屏幕，因此需要重新拍摄。
以往，都是通过静止剪切，也就是指定照相机窗口剪切看得见的东西的方法重新拍摄，但是由于拍摄时影片的构图和镜子的运动，静止剪切的效果会变差，为了得到更好的结果，各帧的重要
为了解决这个问题，谷歌开发了AutoFlip。 只要用户输入视频和图像的大小，AutoFlip就会制定最佳的跟踪和剪辑策略、指定纵横比，并生成与原始视频相同长度的视频。 AutoFlip通过机器学习物体检测和跟踪技术，了解电影内容，智能地为电影重新拍摄。 AutoFlip检测镜头的变化，并用独立的镜头进行处理。 AutoFlip在每个镜头重新拍摄之前，会检测重要内容并安排最佳的相机模式和路径。
AutoFlip包括镜头检查、视频内容分析和重新拍摄这几个重要步骤。 快照是连续的无剪辑图像序列，为了检测快照的变化，AutoFlip计算每帧和前一帧的颜色分布差异，并指示当帧的颜色分布变化速度变化时快照会切换。 AutoFlip可以缓冲影片，确保镜头完整性，达到重新拍摄镜头的最佳效果。
谷歌利用深度学习的物体检测模型，发现了包括人和动物在内的有趣且引人注目的内容，但根据应用的不同，广告文字和体育比赛球等其他内容也将成为重要内容。 面部和物体的检测模型通过MediaPipe集成到AutoFlip中。 该体系结构非常灵活，开发人员可以轻松添加不同的发现算法以满足各种使用需求。
每个物体类型都有对应的权重，该权重决定物体的重要性，权重越大对相机路径的影响越大。 AutoFlip会根据镜头中物体的行为模式，自动选择最佳的重拍策略，如静止、平移和跟踪。 如果剪切的快照无法覆盖整个影片，则AutoFlip会以黑色边缘模式填充影片。
AutoFlip可快速自动裁剪适合在各种设备上播放的图像。 之后，谷歌将继续改进自动文件。 他们表示，为了重新拍摄，视频前景的文字和图标通常会被剪切，下一步想通过修复技术将这些前景对象恢复到重新制作的视频中。
编辑： AI智慧
