在实际的生产环境中,将训练好的模型部署到服务器端,是一件具有挑战性的事情。
1.模型种类多样化
深度学习的发展带动了一批深度学习框架,如TensorFlow、Caffe、PyTorch等。
而当用户基于各种原因对一种框架进行学习时,常常会发现应用或者再训练的场景变了,因为在实际的生产环境中,可能无法对现有的框架进行直接支持。面对多样化的深度学习框架,对于生产环境的模型支持能力也提出了很大的挑战。
2.模型部署过程复杂
人工智能时代,对于所有想要涉及该领域的公司来说,想要享受这波技术红利,关键就在于一款基于好用的深度学习框架的深度学习应用,然而深度学习在生产环境中的部署不仅耗时且复杂。
对于一些具有很强技术能力的BAT等公司,他们可以通过自己编写Script,或者利用k8s工具来实现模型的部署,然而对于初次使用GPU的中小企业,或BAT中初次部署的部门来说,无疑面临着一个很大的困难。
除了以上两个典型的问题,还有服务器GPU无法充分利用、技术环境复杂等问题。
针对以上问题,智东西公开课特意为大家策划了深度学习公开课NVIDIA TensorRT专场。专场将在10月22日19点进行直播,由NVIDIA高级系统架构师胡麟主讲。他将为大家全面解析模型部署过程中的挑战,并深度讲解如何使用TensorRT Inference Server加速深度学习模型的部署。
要告诉大家的是,在此之前,智东西公开课已经完结了三场关于TensorRT的专场讲解。三个专场分别从TensorRT的使用、原理和高级特性对其进行深度剖析。想进一步学习的朋友,可以扫描海报底部的二维码,添加小助手大越(ID:xdxaxx)进行课程资源申请,备注“姓名-公司\学校\单位”的朋友可以优先审核通过哦。
开课时间
时间:10月22日19点
地点:智东西公开课直播间
讲师介绍
胡麟,NVIDIA高级系统架构师,硕士毕业于西安交通大学,目前在NVIDIA从事企业级客户深度学习解决方案架构工作,拥有多年异构计算从业经验。
课程内容
主题:使用TensorRT Inference Server加速深度学习模型的部署
提纲:
1.部署深度学习模型的挑战
2.如何利用TensorRT Inference Server提升模型部署效率
3.Demo:使用TensorRT Inference Server部署图像分类模型
加入主讲群
每场讲解我们都将设置主讲群,并会邀请主讲导师入群。加入主讲群,你除了可以免费收听直播之外,还能直接和讲师认识及交流。当然,你还可以结识更多的技术大牛。想要加入主讲群的朋友可以扫描海报底部的二维码添加小助手大越(ID:xdxaxx)进行申请,备注“姓名-公司\学校\单位”的朋友可以优先审核通过哦。
快速入群通道
心急的小伙伴可以扫描下方二维码填写主讲群申请表,将获得快速入群资格哦。
点个“在看”和大家一起聊聊
👇👇👇
继续阅读
阅读原文