锐思智芯(Alpsentek)今日发布业内首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称ALPIX-P)。专为机器感知设计的传感器,可广泛应用于机器人、智能手机、无人驾驶、无人机、安防等场景。
据了解,ALPIX-P采用锐思智芯自主研发的Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与CIS相机功能“二合一”。在图像模式下,ALPIX-P是一款最高帧率为120帧的全局曝光传感器,其图像质量与现有的商化的CIS输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P具有超高帧率,高有效信息占比,大动态范围的特点。
“Hybrid Vision”技术是基于团队在各类高端视觉传感器和仿生事件传感器10年的产业积累,应用了最前沿的视觉系统的设计理念和技巧,研发而成。
基于此技术的ALPIX系列芯片既拥有事件相机的速度快、功耗低、数据量少、HDR的优点;也提供细节丰富的静态图像信息,可满足计算机视觉对动、静态探测的需求。因此非常适用用于给机器“看“。
仿生事件相机自2015年开始产业化探索以来受到来自学术及产业界重视。尤其近几年,国际传感器巨头公司,如三星、索尼都参与到事件相机的研发及推广当中。当前行业中的事件相机有两类:一类是只输出事件流信号,如索尼近期发布的两款事件相机芯片(EVS); 另一类是可输出事件流信号及光强灰阶数据的传感器,但因其像素的设计等原因,基于该光强灰阶数据生成的图像在信噪比、暗光表现、固定模式噪聲(Fixed Pattern Noise)、温度稳定等方面与传统CIS的输出的图像还存在较大改善的空间,因此在应用场景受限。
而锐思智芯此次发布的ALPIX-P,为目前全球首款真正意义的融合式仿生事件相机方案芯片。
与早期的事件相机技术方案相比,这种融合方案的优点有三:
首先,相比于现有仿生事件相机在大部分场景需要配合一款传统图像相机的双摄像头方案,ALPIX系列一颗芯片可代替两颗芯片功能,不仅更具系统成本优势,数据更加丰富。
其次,解决双摄异源配准问题。在事件相机+传统图像传感器的双摄系统中,由于两颗摄像头视角的差别,需要对事件相机数据和图像数据进行实时的配准。而事件数据和图像数据是两类完全不同的数据类型,空间配准难度大,对于底层的融合算法实现带来较大困难。而ALPIX系列由于其融合的两类信号是同一像素生成的,天然的解决了空间配准难的问题。
最后,ALPIX可输出高质量的图像信号,其图像质量与现有的商化的CIS输出的图像质量一致,可以兼容现有图像处理算法和架构。
除此之外,基于ALPIX-P的设计,之后的ALPIX芯片将采用3D堆叠技术及独有的芯片底层设计,在像素尺寸、分辨率、成本、并且在噪声及暗光环境下的性能等有更进一步的提升。
锐思智芯是一家新型视觉传感器芯片提供商,获海康、联想、舜宇、科大讯飞、中科创星、耀途资本等投资。团队来自剑桥大学、苏黎世联邦理工(ETH)、浙江大学等世界名校,有CSEM、NXP、ARM、飞思卡尔、Intel、Magic Leap等国际著名公司工作经验。团队核心成员拥有15年的图像传感器领域技术经验,是一家在北京、南京、深圳和瑞士均有研发中心的全球化科技公司。