兴坤发自凹非寺量子位报道|公众号QbitAI
空中画符的中二技能,谁不想拥有?
捏起万能的AI成为魔法刷吧。
这是画画用的
手跟踪程序
开发者将其命名为YoHa
( Yo
ur Ha
不跟踪)。
这个程序是
TensorFlow.js
实现实时识别功能,获得不纸箱、无延迟的效果。
捏手指就能成为画笔,清空画布也只需握紧拳头就能完成。
在YoHa上给自己画特效的效果这么好,怪不得可以获得555颗星。
这个AI怎么玩? 这个手势识别程序是开源的,开发者Benjamin慷慨地为所有人提供了使用“魔法”的机会。
既可以安装在自己的电脑上玩,也可以用一行代码轻松实现。
NPM install @ hand tracking.io/yoha
也可以在线试玩,直接在主页上下载模型画画和写作。
YoHa现在只能在功能上支持握手指和握拳头这两个命令动作,但因为有TensorFlow.js的支持,其性能并不低。
21个手关节的定位、左右手方向的检测、手姿势的检测等可实时实现。
让我们看看“买家秀”是否也是同样的秀。
没能成为法师,只是因为符文画很丑
这样快乐的AI背后,到底有什么原理呢?
YoHa模型从一开始就使用TensorFlow.js深度学习框架进行训练,开发过程包括训练步骤和推理步骤两大部分。
其模型训练阶段利用自定义神经网络,以自定义数据集作为训练数据,在线实时推理采用TensorFlow.js推理框架。
但是,由于TensorFlow.js规模的限制,YoHa在移动设备上的成绩比电脑差。
另外,YoHa本地的运行速度也比在线试玩快很多,所以还是要想驯服AI需要先回家养。
手势识别有什么用? YoHa的开发者Benjamin说,开始这个项目是为了提高互联网的互动性:
“现有的解决方案没有我想要的东西,所以我为自己制定了新的解决方案。”
不愧是动手能力很强的大人物,如果自己没有想要的东西,就自己做吧。
手势识别如此火爆,索性多开发玩法,增加更丰富的功能让VR/AR更开心吧。
针对前面提到的YoHa的性能缺陷,Benjamin为玩家提供了高性能的替代方案。 是通用手势识别模型MediaPipe。
如果高端玩家希望获得更高的性能,可以基于这种经典机型进行功能增强。
例如,不久前以MediaPipe为基础开发的类似项目
人工绘制
在游戏方式上和YoHa有点不同。
如果你感兴趣的话,自己养AI写字画画吧。
GitHub地址: https://github.com/hand tracking-io/yoha
尝试地址: https://hand tracking.io/draw _ demo /
3359 loic magne.github.io/air-drawing /
结束了
量子比特QbitAI 头条号合同
请关注我们。 第一,时间知道尖端技术的动向