机器心脏报告
参加：杜威张骞
视频剪辑是一项费时费力的工作，需要剪辑人员找到合适的帧，将它们拼接在一起。如果这个过程可以自动化，一些剪辑师可能就不用熬夜剪片了。来自清华、北航、哈佛大学和以色列荷兹利亚跨学科研究中心的研究人员开发了一种全新的视频编辑方法，可以通过编辑视频对应的文字来完成镜头选择和拼接，生成符合文字描述的连贯视频。
研究人员提出的这个工具被称为“Write-A-Video”，它可以根据文本决定从库中选择哪些镜头或场景，从而形成编辑所需的故事情节。这个工具对新手非常友好，即使没有专业的视频剪辑技能，也可以得到高质量的视频蒙太奇。
研究人员还提出了一种全新的视频编辑界面，用户可以直接对文本进行操作，而无需操作视频帧。
他们在不同的主题文本和视频数据库中进行了测试，并进行了量化评估和用户研究。结果表明，这种结合了人类和算法能力的智能数字工具可以在创意创作过程中帮助用户。在Write-A-Video工具的帮助下，没有视频剪辑经验的用户也可以剪辑出满意的视频，有时剪辑速度甚至比那些使用帧剪辑工具的专业人士还要快。
该团队将在本月17-20日举行的ACM SIGGRAPH亚洲会议上展示这一成果。ACM SIGGRAPH Asia是由国际图形图像协会举办的计算机图形学和交互技术的展览和会议，是计算机图形学的顶级国际会议。
研究人员表示，“编写视频”允许编辑人员通过简单地编辑视频附带的文本来创建视频剪辑。他们可以添加或删除文本，移动句子并将其转换为视频剪辑，如找到相应的镜头，编辑或重置镜头。
编辑过程分为三步：(1)用户提供输入，大部分时间是编辑文本；(2)系统自动在视频库中搜索语义匹配的镜头；(3)视频拼接。分割后的文本与镜头之间的视觉语义匹配通过级联关键词匹配和视觉语义嵌入实现，比其他解决方案具有更高的准确率。考虑到时间限制，视频重组被定义为镜头、摄像机运动和色调等电影技术指标与用户指定的电影摄影习惯用语的混合优化。
“Write-a-video利用了当前自动视频理解的先进技术和独特的用户界面，可以生成更加自然和简单的视频编辑效果，”Herzlia跨学科研究中心教授Ariel Shamir说。“使用我们的工具，用户可以以文本编辑的形式提供输入。这个工具可以从视频库中自动搜索语义匹配的候选镜头，然后使用优化的方法，通过自动裁剪和镜头重排来组合视频蒙太奇。」
现为北航虚拟现实技术与系统国家重点实验室助理研究员、硕士生导师的王淼博士表示，“Write-A-Video可以让用户通过电影技术习语探索每个场景的视觉风格，从而加快或减慢视频节奏，增减动作内容等」
此外，在从视频库中选择候选镜头时，Write-A-Video会考虑镜头的美学效果，并自动选择那些光线好、对焦好、清晰稳定的镜头。清华大学教授胡世民表示，“任何时候，用户都可以使用旁白来渲染视频和预览视频剪辑。”。
在很多视频网站中，“看明星拍”的选项已经出现了一段时间。最近，对自动编辑的研究似乎使自动化提高了一大步。这项技术何时进入实用阶段？
项目：http://www.faculty.idc.ac.il/arik/site/writeVideo.asp参考链接：http://siggraphasia . mystrikingly . com/blog/lights-camera-and-text-novel-video-editing-tool-for-user-friendly？categoryId=129388
机器心脏的“SOTA模型”
:22个领域，127项任务，SOTA机器学习研究。
