(十三发凹非寺量子位报道|公众号QbitAI
该黑科技以秒为单位实现AE的特殊效果。
前几天,AE的一个名为Lockdown的插件点燃了。 不管怎么不动,图案都会无缝紧贴。
其实,这个魔法的特殊效果已经进入了现实。
这个黑科技其实是我们熟悉的投影。 但与以往不同的是,这次是动态投影。
这个高速投影仪叫DynaFlash。
投影的屏幕不必是平坦的,即使屏幕扭曲或被遮挡,图像也可以完全输出。
为了获得良好的投影体验,必须“快速、准确、冷酷”。
这意味着需要高帧频和低延迟。
该高速动态投影机可以以3ms的延迟投影8位图像,最大可以达到1000 fps。
这个话题也在Hacker News上燃起,热度达到了1000点。
很多网友高呼这项技术“很棒”!
我认为像迪斯尼这样的公司对这项技术非常感兴趣。
我做了好几年的实时投影工作,延时是这份工作的杀手,1000/90ms以上的延时特别影响效果。 这个技术可以快速移动。
酷黑科技
这个黑科技有多不可思议?
将图像投影到一张纸上,无论如何晃动,图像都会与纸的变形同步变化。
就像图片贴在纸上一样。
为了显示该技术的高帧频和低延迟,研究小组放慢了视频。
慢动作下的动态投影也完美贴合。
当然,周转也不在话下。
更不可思议的是,如果投影画面不同,图像就可以自由切换!
什么原理?
视频中展示的黑科技,实际上是用红外线墨水在目标上画了标记。
这个标志人看不见。
这就是研究者提出的可变形点聚类标记( Deformable Dot Cluster Marker,DDCM )。
DDCM有三个优点。
1、即使强烈变形,也能检测到; 2、即使存在外部或自遮挡,也能实现稳健跟踪; 3、允许毫秒级计算速度。
下图显示了一个DDCM示例。
DDCM的一个例子。 点云以排列结构分布。
DCM由4种点簇构成,它们以排列结构分布。 如下图所示。
集群的4种类型。 m表示点数。 每个点簇包含1-4个点。
各点簇内的点具有拓扑不变性,也就是说无论发生什么变形都不会改变。
点的数量是随机排他分布的。 识别从p x p点集群(识别窗口)的四个角开始。
另外,为了增加逐帧跟踪的鲁棒性,相邻的点集群具有不同的点数目。
无论从哪个角度识别窗户,都没有相互重叠的序列。
下图显示了处理流程。
处理流程
主要包括检测和跟踪两个步骤。
检测过程包括从单个帧中标识点群集的ID。
检测流程
检查的过程大致如下
a )从二值化图像中提取关键点; b )将位于a )所示同一网格内且彼此相邻的关键点视为点聚类,红、绿、蓝、黄的点分别表示m=1、2、3、4个点聚类; c )计算提取的点云的延迟三角剖分; d )基于广度优先搜索获得点簇之间的连通性e )最后,从事先准备好的散列表中通过点编号识别各点簇的ID,红色数字表示被识别的点簇的ID。
跟踪过程是指通过图像序列对每个点簇独立逐帧进行跟踪。 主要过程如下。
a )更新被跟踪的点云的位置;
根据ROI更新跟踪的点云的位置,用红色方框表示。
b )跟踪丢失点群集恢复( recovery );
基于DDCM的序列结构跟踪恢复。
c )假定位跟踪检查; d )丢失点簇插值。
更多的打开方式
你以为黑科技只能做这个吗?
上面显示的动态投影还停留在黑白阶段。 接下来的打开方法会更酷。
随着“3,2,1”的倒计时,衣服上突然出现了色彩鲜艳、纹理复杂的动态投影。 依然交给你的手,我像影子一样变形着。
当然,也有每秒乔装感冒的操作。
纹理的质感也会改变。 另外,根据运动、角度的不同,光感等要素也不同。
裸眼3D也不在话下!
One More Thing
这样的黑科技确实非常华丽酷炫。
但是,没想到这些视频和论文在2015年、2023年的时候被公布了。
最近发表了与Hacker News相关的话题,依然引起了很多关注,可以看出其专心致志。
正如网友评论的那样:
哇! 链接原来的贴居然是2023年的!
那么,你想体验这样的黑科技吗?
接送门
博客地址: http://www.k2.t.u-Tokyo.AC.jp/vision/DPM /
视频地址: https://www.YouTube.com/wat chv=-BH 1mh u a5 ju feature=emb _ logo
结束了
量子比特QbitAI 头条号合同
关注我们,第一时间了解尖端技术动态