近来,国内3D视觉芯片的投资赛道火热,不少初创企业获得了亿元级的融资,足见资本对3D视觉的认可。3D视觉技术是高端制造和智能制造机器人的关键技术,它赋予了机器人“眼睛和大脑”的三维感知能力,是构建AI智能机器生态的重要一环。5G时代是智能机器的时代,万物皆可3D。在这样的背景下,一家3D视觉芯片企业站在以色列芯片企业的肩膀上,通过中以合作、双向反哺的创新模式,正在本土发光发热。
并购以色列Inuitive,银牛微电子应运而生
众所周知,以色列是芯片创新者的摇篮,被称作是“芯片王国”。英伟达收购的Mellanox,英特尔收购的Mobileye,以及Habana Labs等著名的芯片企业都诞生在以色列。Inuitive也是一家以色列芯片企业,它成立于2012年,是一家先进的3D计算机视觉和图像处理器设计厂家。
Inuitive的价值在于,它拥有超前的设计理念,对人工智能有着深刻的理解,并将3D视觉深度引擎技术、人工智能及SLAM技术集成在一个芯片里,同时实现双目、行动感知、大脑三个功能,双目立体技术是Inuitive最核心的竞争优势。目前在3D深度技术中主要有三种技术方向:双目立体、结构光和时间飞行。双目立体和结构光都是应用了三角定位或者三角测距物理的原理,但双目是依靠红外反射到摄像头上视差来计算对象物的深度的数据,而结构光是需要有一个投射的发射光源,光线发射出去以后,带编码的光照到对象物再反射回来计算深度。所以结构光容易受环境干扰,而双目立体则不容易受到室外光线的干扰。双目立体非常适合3D视觉并能够适应室内外的应用场景。
Inuitive的三大核心技术,一个是3D深度感知技术,深度视觉引擎等专为3D感知功能设计的独特IP,它的性能功耗均比市场上的其他解决方案优异;第二个核心技术是SLAM (Simultaneous Localization and Mapping) ,称为“实时定位与建图”。它主要是在运动过程中通过传感器探测并建立环境的模型地图,同时估计自己的运动并定位;第三个是TimeWarp,异步时间扭曲(Asynchronous Timewarp简称ATW),它有什么作用呢?我们都知道,VR目前面临最大的问题就是经常有眩晕的感觉。而时间扭曲就能够产生中间帧,从而减少画面的抖动,减少眩晕的感觉。Inuitive将此部分功能以硬件实现的方式实现大幅度的降低延迟,从动作到画面的反应延迟小于1毫秒。
Inuitive技术的研发离不开人才的优势,公司的从业人员具有丰富的设计经验,涉及八大顶端学科,例如光学、计算机视觉、嵌入式系统等。Inuitive的创始人Shlomo Gadot具有38年半导体设计经验,是连续成功创业者。例如他是AT&T贝尔实验室资深专家,设计发明了最早的ADSL网络连接标准;1998年创立了专门为第三代无线宽带电信开发可编程芯片的公司ModemART,后来在2005年被Agere收购。后来创立了芯片设计公司Percello,2010年被博通收购;而Inuitive是他投入精力最多,时间最长,也是储备最丰富的一家企业。其联合创始人是Dor Zepeniuk,他原来是PrimeSense项目经理,PrimeSense于2013年11月24日被Apple以3.6亿美元收购,从那时起苹果一直在使用这项技术。
2020年11月17日,银牛微电子与以色列Inuitive完成收购协议的工商变更,实现中国公司绝对控股。银牛微电子专为并购Inuitive而设立的,通过一年的整合交流,银牛微电子已经将以色列优秀的芯片技术带到中国市场。
发布3D机器视觉模组C158,为中国市场交出第一份答卷
近年来,随着机器设备智能化的需求愈发强烈,机器视觉对于三维深度感知能力的需求加大,传统的2D机器视觉正快速向3D机器视觉升级。在这样的背景下,银牛也将Inuitive成熟的3D深度感知技术发扬光大,在国际客户已经验证的基础上,进一步根据中国市场调优,重磅推出旗下全新产品“3D机器视觉模组C158”。其中“C”就代表“China”。
C158模组是一款集芯片级SLAM,功耗小、体积小、强大的深度感知功能于一身的3D视觉处理产品,可以单芯片提供从实时3D感知到计算再到系统一体化的解决方案。
C158基于银牛(Inuitive)NU4000芯片设计,早在2019年,Inuitive就发布了第二代芯片NU4000。它有专用的深度感知加速器,可支持双目立体和结构光,并结合了银牛自研的深度算法,可以提供非常强劲的深度信息和性能。还有非常强劲的AI运算能力,在这个芯片上集成了机器视觉加速引擎和神经网络加速引擎。NU4000能够实现SLAM实时跟踪建图的引擎,支持120fps的2路摄像头的跟踪,在6自由度坐标的时候就可以达到非常精准的重定位。
银牛还把单独的Arm核集成到NU4000芯片中,支持实时嵌入式Linux操作系统,可以在1.2GHz下工作,支持LPDDR4内存。芯片采用12nm制造工艺,这在AI芯片或者3D芯片领域中,已经是非常领先了,制造工艺的先进性也保证了芯片的低功耗,能以0.5w实现5-6 TOPS算力。
得益于芯片强大的视觉处理系统,C158模组具备业内领先的深度感知能力,深度分辨率可达1280 x 800 @60fps,感知距离在6m以内的精度误差仅为1%,极大满足了对3D深度性能有高要求的应用场景。深度感知对于机器人来说是很重要的,它能很好的判断障碍物的距离。
在深度感知方面,银牛的深度信息的质量完全处于行业领先的地位。据银牛微电子联合创始人兼副总裁何火高的讲解,下图左侧是深度视觉图,右边是彩色的图,在银牛的工具里,它们用深红色代表对象物和摄像头之间的距离是越近,如果这个颜色由深红变成黄色,变成桔红色甚至变成蓝色则表示对象物跟摄像头之间的距离越来越远,现在栏杆是黄色的,说明它离摄像头的距离要比门离摄像头的距离要远得多,但是在右边的彩色图上栏杆和门是合在一起的。所以机器人使用了3D深度视觉摄像头以后会非常实时、非常有效地的做出判断。
在算力方面,该产品拥有5-6 TOPs的综合运算能力和灵活配置,不但能有效地支撑从感知到运算的各种需求,还能减少主控芯片和系统的负担,提高实时性。
C158模组也是一款高度集成的产品,在其125mm x 40mm x 27mm的体积内,集成了3D深度、SLAM实时定位建图引擎、及人工智能等功能,这使其支持120fps的2路摄像头以及6自由度坐标的重定位,能够实现实时高精度姿态跟踪。
其功耗低至1.4W,可轻松满足设备端功耗要求,并且产品内置的通用型ARM核,支持系统的独立性,使系统可以同时兼顾协处理器和主控系统,为设计提供极大的灵活性。不仅如此,C158还搭载的丰富接口和系统支持,使其无论是模组或外设皆可实现USB即插即用的效果。
以色列的技术,本地化的产品
据银牛微电子董事长兼CEO 曲冠诚的介绍,经过一年的时间,银牛现在已经建立了从研发、生产、销售、市场到商务拓展和客户支持的完整团队,形成了银牛独有的中以双向协作模式, “以色列的技术+中国本地化的产品和服务”。在这种双向协作模式下,中国市场及客户将受益于以色列的先进技术和产品,而中国客户的应用需求也可以快速输送给以色列团队,反向推动新的产品技术创新,再以此反哺全球市场,由此实现协同联动,进而促进中国乃至全球3D视觉产业的快速发展。未来,银牛还将与中国几个重要的行业龙头企业展开战略合作,或者探讨成立合资公司等合作形式,联结产业链,推动合作与共赢,加速推动整个3D视觉产业的发展和升级。
C158模组产品目前已在全球范围内被应用在智能机器人、XR / 3D交互、3D扫描、高端无人机等多个3D视觉领域的龙头企业产品中。为确保及时响应客户的需求,银牛特意针对中国市场进行调优,并将根据中国客户需求实时调动以色列资源,为中国客户提供高效、优质的本地化支持,以及多样化的选择。
今年银牛微电子的主要任务之一是将模组产品在中国实现量产,健全供应链,将以色列之前的参考设计在中国开花结果。银牛微电子成立的愿景和使命是让每个参与者实现自己的3D梦想,构建全新的3D机器世界。
凭借近十年的深度感知技术积累,系统的高集成度,简化系统设计,以及强劲的AI运算能力和通用ARM核心增加设计的灵活性,再到多功能一体化设计,大幅度降低系统的整体成本这些优势,银牛微电子必将助力中国乃至全球3D机器视觉产业升级。
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第2877内容,欢迎关注。
推荐阅读
半导体行业观察
半导体第一垂直媒体
实时 专业 原创 深度

识别二维码,回复下方关键词,阅读更多
晶圆|集成电路|设备|汽车芯片|存储|台积电|AI|封装
回复 投稿,看《如何成为“半导体行业观察”的一员 》
回复 搜索,还能轻松找到其他你感兴趣的文章!
继续阅读
阅读原文