本文系微信公众号《大话成像》，知乎专栏《all in camera》原创文章，转载请注明出处。大话成像读者QQ 交流群2 ：833282006 大话成像技术论坛：ww.dahuachengxiang.com本站教学视频《图像传感器技术与应用》《成像系统图像质量调试》《成像算法基础（python版）》 《成像系统镜头光学》《新版图像质量测试测量与国际标准》《新版cmos sensor测试测量与国际标准》《新版数字成像系统42讲》课程大话成像淘宝教育官方网店有售：https://shop322456667.taobao.com/
在今年召开的EVS2023会议上，多场演讲聚焦了传感器在计算机视觉领域的发展和演进。这些讨论清晰地展现了传感器制造商为适应这个新时代的挑战所作出的努力与创新。过去，他们的主要目标可能是优化传感器以捕获令人眼前一亮的图像，如今，这一关注点已经发生了根本性的转变。在计算机视觉的时代，传感器的核心任务已经从简单地为人类捕捉清晰、绚丽的画面转向了为算法提供更为精确和详实的数据。
在实现这一核心转变的道路上，存在多种技术路径供制造商选择。其中一些产品选择在传感器中直接集成AI或计算机视觉功能，使其成为一个真正的“智能”传感器；而另一些则专注于重新设计传感器的结构或工作原理，以提供更加有助于计算机视觉算法处理的数据。接下来我们将结合STM、NextChip和Sony的演讲为大家进行详细介绍。
一．STM 的 VD56G3 和 VD55G1
（1）体积更小、响应更高、近方形尺寸
首先，传感器采用CDTI设计，在NIR和可见光的波长上展现出了极高的量子效率，且可减少Cross Talk；其次，传感器选择了接近正方形的设计（VD56G3：1124*1364分辨率；VD55G1：800*700分辨率），正方形传感器的解析度与镜头实现了最佳的匹配。选择正方形设计的原因是，计算机视觉经常需要捕捉的对象，如人脸，其形态接近正方形，因此正方形的传感器能更精准地对这些对象进行捕捉和识别。
（2）内置HDR AE算法
VG551 支持90dB+的动态范围的单帧HDR功能，可以不用担心因为多帧HDR导致的拖影延迟等问题，对于SLAM场景特别友好；另外针对alwayson等场景也需要sensor自行可以实现比较良好的曝光。
（3）自带光流、背景去除、帧差等算法
其中VD56G3 自带了光流算法，支持在60fps 下进行每帧2000个特征点检测和运动向量提取，或300fps下512个特征追踪。并且可以结合STM的6DOF IMU 在主芯片端进行里程计解算。
另外VD55G1 支持单帧背景去除以及帧差功能，其中帧差功能通过两个曝光值相减得到帧间差，判断是否有运动物体，结合Always on功能，当有移动物体时则可以进行唤醒，无移动物体时进行休眠。

二．针对自动驾驶的CFA pattern

NextChip主要讲了自己家ISP 对于不同的CFA Pattern 的支持程度是非常完善的。并且说明了车的不同位置处对于CFA的要求不同。
比如前视Camera 需要能区分交通灯，并且需要有较好的响应率，因此选择RYYCY（RED-Yellow-Yellow-Cyan）比较合适，Bayer pattern 和 RCCB pattern 则对于黄色和红色交通信号灯比较难进行区别。
OVT的报告则展示了各种CFA对于黄色和红色交通灯的差异，其中RsftYYCy在噪声和交通灯的区分间可以找到最好的平衡。
而对于座舱内因为要识别进行SMA驾驶员分析，为了精准定位眼球等计算，还是选择RGBNIR Pattern，而尾部摄像头为了在尽量能获取到颜色信息下保证最高的响应，则是选择了RCCB Pattern。

三．带AI 引擎的IMX500

IMX500其实3年前就发布了，但是一直推得不是很好，其实就是把AI引擎放在了探测器端而已，只不过经过几年发展找了一些方案商把生态做的更好了一些，再来推销一下，笔者对于这种形态比较不看好，就不再赘述了。
总的来说，从上述内容中，我们明显感受到了传感器制造商在视觉感知领域所经历的演变。这个变化不仅仅局限于技术的提升，更深层次的是对于“最佳画质”的重新定义：不再是仅仅对人眼的‘诱惑’，而是对计算机视觉算法更为友好和适应的图像特性。此外，传感器如何在前端进行更高效的数据处理、筛选和预处理，以减少系统总体的功耗和成本，也成为了厂商们关注的核心问题。在这个视觉技术日益重要的时代，对于这些核心问题的深入研究和解决，带给了探测器厂商新的创新点和方向。
继续阅读
阅读原文