荷兰展会
当前的位置:首页 > 数据中心

黑芝麻智能NeuralIQ ISP技术让汽车明察秋毫

2023-06-27 10:50:53
作者:美通社来源:美通社
分享到: 

近日,黑芝麻智能发布了武当系列智能汽车跨域计算平台及其首款芯片C1200。C1200的特色之一在于搭载了黑芝麻智能新一代自研NeuralIQ ISP模块,为图形计算提供更精准的数据。在由黑芝麻智能主办的"2023智能汽车芯片高峰论坛"上,公司图像科学总监王超发表主题为"黑芝麻智能NerualIQ ISP技术让汽车洞察秋毫"的演讲,全面解析这一技术。uwK储能-碳索储能网-专业的储能产业门户

通常情况下,ISP有很多常见的处理模块,比如白平衡、自动曝光控制、自动对焦等。黑芝麻智能的NeuralIQ ISP在安防、手机、汽车三大场景具有全平台的处理能力。三种场景对ISP的要求不尽相同。王超介绍,针对车载应用,黑芝麻智能对ISP进行了三大方面的优化。uwK储能-碳索储能网-专业的储能产业门户

算法优化uwK储能-碳索储能网-专业的储能产业门户

黑芝麻智能NeuralIQ ISP技术让汽车明察秋毫uwK储能-碳索储能网-专业的储能产业门户

算法层面的优化涉及到无帧延时的多帧降噪、夜晚去运动模糊、高亮高饱和区域色彩和细节保持、不同光谱sensor的色彩一致性四个方面。uwK储能-碳索储能网-专业的储能产业门户

黑芝麻智能设计了无帧延时的多帧降噪,去噪的同时保持多帧图像的特征。在ISP里尽量保留多帧图像共有的信息,使得对外界环境的可读性得到提升。uwK储能-碳索储能网-专业的储能产业门户

运动模糊的宽度取决于在曝光时间内运动物体投影在像素平面上的宽度,针对夜晚环境下的运动模糊情况,黑芝麻智能采用了减曝光+增增益+多帧降噪的方案,使得夜晚运动模糊时的图像质量得到更进一步提高。uwK储能-碳索储能网-专业的储能产业门户

交通环节有很多重要信息都是比较高亮、高饱和的信息,黑芝麻智能通过算法改进实现了颜色矫正、细节保持,从而为后端的感知算法提供更加准确的数据。uwK储能-碳索储能网-专业的储能产业门户

有效的色彩管理手段(AWB/CCM/3DLut等)不只使得常见光谱种类的sensor的输出图像的色彩一致,针对不同光谱种类sensor的数据也可以做到色彩一致化。黑芝麻智能通过RGBIr的色彩处理和恢复,在即使有红外影响的情况下,也可以得到和人类感知比较一致的颜色,为后端感知算法提供更加一致的输入。uwK储能-碳索储能网-专业的储能产业门户

IP设计优化uwK储能-碳索储能网-专业的储能产业门户

黑芝麻智能NeuralIQ ISP技术让汽车明察秋毫uwK储能-碳索储能网-专业的储能产业门户

算法上优化之外,黑芝麻智能在ISP的IP设计上也进行了优化。比如,车载环境下需要应用的相机越来越多,黑芝麻智能通过IP设计手段,使用可以共享的逻辑来处理多个数据,让一系列的计算逻辑可以被复用,以此方式减少芯片面积。uwK储能-碳索储能网-专业的储能产业门户

同时,黑芝麻智能的NeuralIQ ISP支持在线处理模式,可以用来减少车载图像的处理数据延时。简单而言,从第一个数据输入到ISP输出第一个数据,在线处理模式的延时一般小于2毫秒。uwK储能-碳索储能网-专业的储能产业门户

全面的ISP IQ调试流程uwK储能-碳索储能网-专业的储能产业门户

黑芝麻智能NeuralIQ ISP技术让汽车明察秋毫uwK储能-碳索储能网-专业的储能产业门户

对于ISP的调试工作,黑芝麻智能为NeuralIQ ISP模块设置了模组性能检查,模组参数标定和调优,并配备调试工具。uwK储能-碳索储能网-专业的储能产业门户

模组性能检查涉及模组缺陷、MTF、DOF、炫光、红外、漏光等。模组参数标定和调优包括镜头暗角标定(LSC)、色彩校正矩阵标定(CCM)、白平衡标定(AWB)、噪声标定和调试。uwK储能-碳索储能网-专业的储能产业门户

在此基础上,黑芝麻智能会对NeuralIQ ISP进行客观和主观的测试工作。客观从镜头亮度阴影、镜头色度阴影、色彩准确性、白平衡准确性和灰阶测试几方面展开。主观测试则是在车载的主观场景下进行,例如白天、黑夜、日落等光照环境,隧道、车库出入口、交通信号灯、车道线、十字路口等特殊环境,以及颠簸路面、反光路面、极暗光照等极端环境。uwK储能-碳索储能网-专业的储能产业门户

NeuralIQ ISP是黑芝麻智能两大核心自研IP之一,适用于智能驾驶环视感知、前视感知、驾驶监控等应用场景。王超表示:"希望我们的ISP能够使接入的车载相机得到更合理的图像效果,提供给后端感知算法使用,帮助自动驾驶能够更顺利地向前一步。"uwK储能-碳索储能网-专业的储能产业门户

责编:zhanhy
碳索储能网版权说明:
所有未标注来源为碳索储能网或碳索储能网整理的文章,均转载与其他媒体,目的在于传播更多信息,但并不代表碳索储能网赞同其观点、立场或证实其描述。其他媒体如需转载,请与稿件来源方联系,如产生任何版权问题与本网无关。
涉及资本市场或上市公司内容也不构成任何投资建议,投资者据此操作,风险自担!
如因作品内容、版权以及引用的图片(或配图)内容仅供参考,如有涉及版权问题,可联系我们直接删除处理。请在30日内进行。