随着国家支持“新基建”相关政策出台,人工智能在社会中的作用越来越大,在这其中,开源理念的发展对于人工智能技术的普及起到了至关重要的作用。同样,在人工智能领域得到快速发展后,为了能够实现人才、智慧的聚合,促进 AI 技术的落地,许多 AI 企业也纷纷选择开源自身的能力,这就进一步促进了开源市场的繁荣。
在人工智能领域下,前有谷歌的 TensorFlow 与 Facebook 的 PyTorch 在深度学习开源框架下的龙争虎斗,后有 BAT 的 MNN、NCNN 紧跟前者脚步,整个 AI 技术领域的发展看起来似乎一片坦途。
但在开源之后,大家逐渐发现一个问题,纵然现阶段人工智能领域下的开源框架种类和质量都在不断完善,但却很难形成统一的格局,因此形成在 AI 产品研发体系下存在开源代码难以全平台共用的的问题。而这个问题的根源就在于全球人工智能领域的开发资源并未实现模块化和标准化。
如果不实现 AI 开发资源的模块化和标准化,对于开发者来说会增加大量成本。首先当一个业务涉及到不同平台时,需要使用不同的框架,整合时又需要不断的进行模型转换,耗费过多的人力物力,严重阻碍了产品研发进度;其次缺乏模块化,会导致纵使 AI 能力得到了开源,但并没有实现真正“开箱即用”。并且更可悲的是,现在的开源在很大程度上反而沦为了企业展示自身技术肌肉的一个手段。
归根结底,还是开源框架不“实用”的原因导致的。
但是正所谓“天下大势,分久必合,合久必分”,腾讯优图即将在 6 月 10 日,宣布其研发的推理组件 TNN 正式对外开源,直面能力分散、多平台不兼容等问题,该框架可开发注册包括 ARM、METAL、OPENCL、NPU、CUDA 等主流平台在内的多种推理平台,为开发人员提供统一的模型描述文件和调用接口,让企业一套流程就能部署到位,简单易用、省时省力。
TNN 会是拯救国内 AI 开发者的救命稻草吗?
实现了跨平台统一之后,其在业务中实际产生的效果是怎么样的呢?TNN 主要基于内部的 Rapidnet 框架研发,而 Rapidnet 的优秀已在天天 P 图中的美颜、美妆等功能的处理速度上得到了证实,其处理速度比当前业界开源框架普遍快 20% 以上;同时,在腾讯云 GPU 服务器落地中,实现性能较业界主流框架提升 50% 以上。
外部开源必先内部开源,TNN 也不例外。其早在今年 3 月就进行了腾讯内部开源,主要支持移动端平台开展 CV 相关的 AI 推理。在手 Q 的变脸特效中,通过 TNN 的性能优化,速度显著提升了 4 倍以上。且在其它专业测评中,TNN 在速度、效率、识别等多项数据指标上明显优于 NCNN、MNN 等其它业内框架。
如果 TNN 正好能解决你目前遇到的问题,或者你对 TNN 有着极大的兴趣,那么 InfoQ 强烈推荐你参加此次由腾讯优图主办的 6 月 15 日的线上直播,届时腾讯优图实验室资深研究员 Darren 将为大家解读【多场景适配:深度学习模型部署优化之道】的主题分享。将帮助大家全面了解深度学习推断框架的前世今生,辅助大家快速上手在不同场景下的模型部署优化能力。
扫描上图二维码即可免费报名参加
扫描上图二维码添加小助手文文酱,回复关键字“优图”,入直播群
点击阅读原文即可免费预约观看直播,6 月 15 日晚 7 点 -8 点,我们不见不散~
继续阅读
阅读原文