2023年,NTU团队开发了全彩色高清视频成像系统,为暗光增强成像带来了新的突破。

“我们是夜鹰。 我们要打破黑暗,找回世界本来的颜色,让人们在黑夜里像白天一样生产和生活。 ”这是一个全体成员由“00后”学生组成的团队,是想通过“夜鹰”系统实现的目标。

夜鹰是一种夜视系统,支持在非常低的光照环境下对高清视频进行全色成像,通过在小型暗室工作室中构建低光照环境,实现全色夜视成像能力的展示。 其开发团队在南京大学电子科学与工程学院彭成磊老师的带领下,由该学院3名2023级本科学生组成。

他们基于深度学习算法,在星光级1mLux的极弱光环境照度下,实现了无补光嵌入式高清视频全色成像系统。 该系统可低成本部署于各种应用场景,支持80多种目标识别功能,可广泛用于城市安防监控、交通违章监控、保护动物跟踪、石窟壁画保护等领域。

图“夜鹰”展示界面

暗光增强成像领域已有几十年的研究历史,也拥有激光夜视、热成像等技术。 但这些技术存在许多缺点,如噪声多、缺少颜色细节、需要辅助光源、目标识别困难等。 最重要的是,其最低极限照度始终保持在较高水平,不易下降。

如今需要全色夜视,优化硬件、组合传统算法的方案已经达到极限,需要开发更好的技术来满足不同应用场景对暗光成像的需求。

在此基础上,多年专业从事嵌入式智能系统和多光谱成像领域的彭成磊,带领蔡立本华、陈威宇、赵雨飞三人组成了嵌入式暗光增强全色成像团队,完成了“夜鹰”系统的开发。

其中,队长蔡立本华主要负责模型算法的设计培训,赵雨飞主要负责模型的配置和交互页面设计,陈威宇主要负责硬件系统设计的选型和软件框架的构建。 这一成果近日在第五届中国国际进口博览会上在英特尔展台展出。

“夜鹰”系统利用自主设计的神经网络模型对普通CMOS ( complementarymetaloxidesemiconductor )相机采集到的极低信噪比原始图像进行颜色恢复、去噪和亮度增强

实现的该高清视频全色图像效果与此前相关工作实现的效果不同。 夜鹰支持以540p的分辨率每秒24帧清晰稳定的视频全色图像显示。 赵雨飞解释说:“该系统主要强调分辨率和全色效果,并在此基础上保证帧频的平稳性。”

此外,为了提高用户的易用性,团队扩展开发了更多的交互功能。 通过夜鹰界面,用户不仅可以查看采集到的原始图像、经过处理恢复的HD图像、视频实时帧率、图像颜色直方图等信息,还可以进行图像的存储、参数的调整、屏幕的缩放等操作另外,彭成磊实验室目前还在进一步推进支持1080p格式的“夜鹰”的升级。

2023年9月,研究人员凭借“夜鹰-暗光增强全色图像”成果,获得全球25个国家和地区参赛团队冠军,获得2023年度英特尔人工智能全球影响力嘉年华18岁以上世界冠军。

(来源:数据图)

赵雨飞说:“在开发‘夜鹰’的过程中,我们使用了英特尔开放式视频工具包、基于至强处理器的训练服务器和基于i5处理器的边缘计算主机。”

据悉,此次活动是为建设全球数字化能力而设立的在线全球展会,旨在与全球政府、学术界和社区合作,与新一代技术人员和未来开发者共同普及人工智能,并表彰相关创新成果。

动态分享

纵列双旋翼直升机发展史,中国高速直升机最高时速及设计图

2022-12-12 12:11:30

动态分享

白猫次世代模型,最近比较流行的猫模型

2022-12-12 12:13:32

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索