困在碎片化里的AIoT行业，如何接住大模型这泼天富贵？
作者 |  三北
编辑 |  漠影
“大模型只是技术升级不是革命……大模型技术商业化落地的路线一定是：装备大模型化。”宇视科技CEO张鹏国说。
智东西4月16日报道，今日，在2024宇视合作伙伴大会上，宇视科技宣布推出AIoT行业大模型“梧桐2.0”，并发布“猎光 2.0” AI-ISP图像引擎感知终端等一系列大模型产品，打响AIoT行业“装备大模型化”的第一枪。
▲宇视科技CEO张鹏国发表题为《AIGC：千里之行，始于足下》的演讲
从爆火的ChatGPT到Sora，大模型正冲向边缘侧、端侧设备，从而重构千行百业。小到一个摄像头，大到一个个物联网场景，大模型如何在其中真正跑起来？备受产业关注。
装备大模型化，是宇视科技与万家渠道伙伴一起给出的答案。
▲2024宇视合作伙伴大会现场
去年5月，宇视科技领先AIoT行业率先推出大模型“梧桐”，并与多家行业龙头联合启动“梧桐大模型种子合作伙伴计划”，探索大模型在交通、教育、零售、体育公共服务等领域的端边云侧的深入落地。
一年后的今天，宇视与合作伙伴不仅带来了AI体育、AI文旅等各个行业的大模型新落地成果，还通过软件硬件化、硬件装备化、装备序列化的新经验，为全行业带来“装备大模型化”产品底座开放能力的质变。
▲AIoT新生态产品底座2.0
从实验室到产品化、从软件到硬件工程化、从价格昂贵到低门槛化，大模型有望通过守护城市和田间地头的“机器之眼”，完成从技术到行业价值的新飞跃。
01.
所有装备

都值得用大模型重做一遍
大模型是技术升级还是革命？
不同的人观点不同：闭源派、技术信仰者更倾向于这是一次技术革命，而开源派、市场信仰者更倾向于这是一次技术升级。
站在AIoT行业的角度去看，张鹏国认为，大模型是AIoT行业当下最大的技术变量，但大模型是技术升级，而不是革命。这很好理解，就像我们说蒸汽机出现不算是工业革命，但是把蒸汽机装到了火车、轮船和各种生产工具上提高效率，才是工业革命。
如何让大模型发挥出“革命”力量？还要靠装备大模型化。
“大模型技术是AIoT行业当下最大的技术变量，必定会给我们带来新的市场机会点。一个大的机会点就是大量在网产品的更新迭代。”张鹏国说，“借助于行业大模型技术，边、端产品有望用更低的成本，在某些细分场景下实现更好的应用效果。”
这意味着最直观的需求：所有装备，都值得用大模型重做一遍。
大模型技术升级对产品和解决方案架构提出新的要求，比如要求云边端的芯片都支持Transfomer架构，大规模参数对设备的显存和算力提出新的要求，进而产品的形态和功能也将被改变，比如支持更强大语音对话的摄像机已经出现。
装备大模型化时代，“视频+大模型”首先会成为一大金矿。
正如宇视科技首席产品官朱兵所说，大模型的出现，让我们可以一起用更低的投入去挖掘海量视频的价值，解决传统AI技术解决不了的问题。在他看来，视频的价值如何挖掘落地则可以用一个公式来表达，那就是：“视频”价值=（边端装备+大模型）x 生态业务
基于这样的理念，宇视今年推出了一大批“装备大模型化”产品，实现了业界最宽业务场景的覆盖：
1、AI端侧装备：基于“猎光2.0 -AI-ISP”图像引擎的AI全彩感知终端产品。它基于“梧桐”大模型，使得极暗环境下全彩画面画质得到极大改善，30米外仍可智能识别和分析目标。
2、AI边缘端装备：AI NVR、AI BOX、AI控制器和AI互动发布屏等。这些装备基于“梧桐”大模型生成的长尾算法，可用于众多行业场景，如用于校园AI体育的室外AI体测一体机、室内AI体锻屏等。
3、AI边缘域装备：基于梧桐大模型的视频智能推训一体机、视频数据服务一体机等。这些产品一般部署在中心机房，可以脱离平台单独使用，处理能力和路数相对边缘端装备有数倍的增加。
用大模型重做AIoT装备，首先要注意规避小模型时代踩过的“坑”。
在上一波小模型AI浪潮中，宇视科技被认为是国内AI工程化最成功的AIoT企业之一，与海康、大华等一起把智能摄像机、边缘盒子落到了全国各地，同时也踩过AI落地几乎所有会遇到的坑。
正是基于先前的经验，在张鹏国看来，在涉及“AI+还是+AI？”这一重要路线问题时，在这场变革中最容易成功的，还是后者，也就是装备大模型化路线。
这背后是深刻的产业逻辑：随着大模型推动的技术平权加速，大模型落地AIoT行业更离不开的是，紧密合作的客户群和渠道、公司营销的基本盘以及强大工程化落地能力迭代。
02.
参天生长的梧桐2.0

行业商业化落地新破局
为了推动装备大模型化，宇视今日正式发布梧桐2.0大模型。
梧桐2.0从训练、推理、测试、数据等AI开发过程进行全面升级。图像方面，梧桐2.0新增了大模型AI-ISP、超分及图像质量评价等多个模块；CV方面，由视频结构化全面升级为视频内容理解；NLP方面，更好地支持软件代码生成；多模态方面，文生图、文生视频在智慧景区、智慧体育等领域应用，极大地提升用户体验。
宇视AI首席科学家李聪廷说，装备+梧桐大模型，将重新定义图像质量、视频解析、模型的推理和训练，也将重新定义装备本身。新一代的AI装备，在图像质量、算法精度、算法生产率、用户体验等方面有质的飞跃，同时服务效率也大幅提升。
作为一个行业大模型，梧桐2.0的一大显著特征是“边用边升级”。
以宇视在AI体育领域的落地方案为例，基于梧桐大模型的AI体育锻炼屏可以让很多孩子站在同一个屏幕前一块做运动，记录每个孩子的动作细节和成绩，为其自动打分并提供锻炼建议，让孩子能更快乐且更科学地锻炼身体。
▲宇视AI体育锻炼屏展示
随着体育在素质教育中越来越重要，体育教育缺乏科学的评判工具和较完备的方法论，成为当下国内教育的一大痛点。基于梧桐大模型的AI体育方案以极低成本，使系统实现了远超小模型方案的效果，助力学生体育教学的质量大大提高。
▲宇视AI跑步屏展示
大模型首先进入的行业有一些显著特征。以文教体行业为例，这一市场用户基数和市场空间庞大，并符合社会进步的方向，且在技术上没有过于苛刻的精度要求，给大模型固有的幻觉留出了空间，因此成为大模型的一大绝佳“着陆点”。
可以看到，经过大模型化的边缘、端侧装备融入到具体场景，将为行业商业化落地带来全新的突破口。
然而，要实现装备大模型化，也不是一蹴而就的。
正如朱兵所说，其能力随着时间在算法的大模型能力和装备部署大模型的能力两个维度上发展，算法前期会发展更快些，而装备部署大模型的能力未来有望迎来“井喷式”发展。
以下这张图展示了宇视边端装备大模型化的演进路径：
1、算法+大模型的能力：从CV到多模态充分融合
•对于安防CV算法，大模型的贡献是从自动生成样本数据，帮助小模型算法提高效率开始的。
•2023年下半年已经可以基于更少的数据样本+自学习实现长尾算法开发效率的指数级提升。
•接下来今年上半年大模型CV算法和NLP语义理解能够充分结合，能够在客户现场基于语义化描述快速调用多种算法按语义理解的逻辑组成新的算法。
•未来的算法则会多模态化，基于视图理解和交互会充分融合，就像不久前谷歌发布Gemini所演示的一样，会成熟落地。
2、装备部署大模型能力：从公有云到边端侧使用门槛降低
•去年首先实现的是公共云部署大模型的能力，从去年下半年开始逐步在边缘装备上部署基于大模型生成的长尾算法，对算力的要求相对较高。
•然后是大模型本身可以私有化部署在边缘域一体机中，随着算力成本的降低，今年年底开始会逐步有感知终端部署大模型生成的算法。
可以预测，随着AI PC、具身机器人等成为具有前景的大模型落地方向，作为“机器之眼”的视觉传感设备，有望率先成为大模型落地的载体，发挥出巨大的行业价值。
03.
装备大模型化

宇视与渠道伙伴的双向奔赴
实际上，装备大模型化赋能行业的故事已经越来越多。
基于梧桐大模型和边端装备，过去一年宇视和渠道一起还做了很多有价值的行业案例：
在国家东北虎野生动物园，10天快速输出了老虎识别算法，夜间效果准确率达到90%，发现老虎能实时联动报警，有效防止人虎冲突。
在湖南某地，一周生成不牵狗绳算法，准确率达到96%以上，从识别到最后狗主人将狗绳系好，整个过程不到3分钟，获得当地电台的报道点赞。
在海南环岛公路，集雷视融合检测、LED屏显、数据深度处理、无线通信为一体的道路安全预警装备，实现弯道双向预警，有效降低交通事故发生。
在濮院时尚古镇，宇视与顶度集团一起，基于VR和VLOG AI短视频融合体验，让每一位游客融入“濮院T台”，记录自己的“时装周”精彩瞬间。
……
碎片化是AIoT行业多年以来面临的顽疾，但大模型的泛化能力让这些问题有了一致解法，装备的大模型化也将带来AIoT产品底座开放能力的质变。
和去年相比，宇视将提供更彻底的开源能力，新增宇视公共云服务提供的开源组件；提供了覆盖更全面的OPEN API南北向接口，新增全配置式接口创建以及适配，业务整合效率整体提升70%。
同时，基于梧桐CV大模型能力，1周发布1个新分类检测模型，合作伙伴可以方便训练自己的AI长尾算法；其还提供更丰富的轻代码/零代码工具，通过拖拽式点位标记，1人天即可实现3D地图应用发布。
此外，梧桐还提供更智能的软件开发方式，借助AIGC辅助生成代码工具，帮助开发人员通过文本交互或原型快速自动创建代码，同时及时纠错，提高开发效率。
李聪廷告诉智东西，过去，很多人可能觉得大模型高不可攀，用起来一定很贵。但在大模型落地AIoT边缘和端侧的过程中，宇视已经能实现比传统方案成本降低的情况下，效果明显的提升。大模型方案越来越成为更超值的选择。
04.
结语：装备大模型化

助力解放新质生产力
随着「百模大战」展开一年多，我们看到很多软件App已经接入大模型，进而寻求打造爆款超级应用；而今年，以宇视科技为首的AIoT企业率先打响“装备大模型化”的变革，展现了大模型跨越软硬件的鸿沟，落地千行百业的潜力。
“人工智能+（AI+）”在2024年两会中首次被写进政府工作报告，国家正加强顶层设计，加快形成以AI为引擎的新质生产力。“AI+”的落地需要结实的凭借和抓手。装备大模型化有望聚AIoT生态之力，提供有力的抓手，助我国加速解放新质生产力。
（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）
2024年中国生成式AI大会预告
继续阅读
阅读原文