1月21日，傅盛携手混沌举办了2024·傅盛的AI开年大课《每个企业都有私有化大模型的时代到来了》，并重磅发布猎户星空企业应用大模型。本次演讲也邀请了多位重量级嘉宾：360集团创始人周鸿祎、极客公园创始人&总裁张鹏、中国移动通信集团终端有限公司副总经理汪恒江、亚马逊云科技大中华区解决方案架构部总经理代闻、混沌学园合伙人张雷……
以下内容根据圆桌论坛内容整理，混沌君略有删改：

圆桌论坛主持人
韩  笑｜ 混沌学园课程主任
圆桌论坛嘉宾
汪恒江｜ 中国移动通信集团终端有限公司副总经理
代  闻｜ 亚马逊云科技大中华区解决方案架构部总经理
张  雷｜ 混沌学园合伙人、混沌学园ToB事业部负责人
傅  盛｜ 猎豹移动董事长兼CEO、猎户星空董事长、混沌学园三期学员
主持人韩笑：接下来，我们开始今天的第二场圆桌讨论，这一场的主题将会围绕“企业私有化大模型技术在产业落地的应用与展望”。今天的嘉宾分别代表了不同类型和规模的企业，也都是各自领域的专家。
第一个问题，首先请问各位嘉宾，做企业私有化大模型的准备工作都有哪些，特别是在数据管理、技术选择和团队准备等方面，各位认为企业应该重点关注哪些方面？
汪恒江：首先感谢傅盛的邀请。我先简单介绍一下中国移动终端公司。中国移动终端主要做两件事：一是手机销售业务，比如苹果、华为等手机的全国代理和地方省级代理；二是家庭终端设备的研发生产业务，比如光猫、机顶盒、路由器、摄像头等家庭智能硬件。
回到问题，大模型来了之后中国移动终端很关注以下两点：第一，站在企业角度，中国移动终端作为硬件厂商，我们的业务流程中是否存在一些环节更适合用大模型进行改造，以提升收益比；第二，不同地区需求不同，面临的问题也不同。比如中国移动的家庭工程师入户时，要求15分钟内必须要完成全部安装，但安装现场总会遇到一些问题，比如，如果机顶盒出现问题，要如何处理？那么，发生上述情况的时候，AI是否可以成为客服帮助家庭工程师。
对此，我们在4个省做了相关试点试验，大概回答了530个问题，并且都是在1分钟之内解决的，且一分钟就有一个回答。反之，如果不用AI的话，可能15分钟内没有回答，这对工程师来讲是很无助的，且工程师还可能会有投诉。因此，用大模型的第二个好处是提升效率降低成本。
代闻：我来分享一下在企业私有化大模型的落地方面亚马逊云科技的几点观察。
首先，结合近两年的经济环境，目前大多数企业都意识到使用生成式AI至关重要，且都当成了一把手工程。之所以如此，核心就在于生成式AI在降本和增效两方面非常明显。此外，这次AI的爆发最大的不同在于，以前是技术部门有一款产品推广到业务部门，而这一次相反，是业务部门有明确的需求，需要技术部门承接。
第二，从企业私有化大模型来讲，安全是第一位。对于企业而言，如果因信息泄漏导致企业出现问题，企业宁愿选择不做。比如，因为企业很多的财务数据、法务数据都非常敏感，规则不好、工具不行就有问题。所以，企业在私有安全方面看得很重。
第三，大模型落地工具的选择。大模型很容易让人联想到技术，所以大家都会去考虑模型间的技术性能比较，反而忽略了在落地时需要一系列的工具支撑，实际上，大模型在落地的时候，整个工具链也是有变化的，所以一定要选择合适的工具来加速落地。
第四，数据平台的进一步建设。以前，数据资源如何转为资产不太明确，但生成式AI对于数据资产的等级、质量和安全提出了更高层级的要求。此外，不同大模型对数据的提供形式和调优方式不同，这就要求数据平台不仅完备而且灵活。
张雷：混沌自从拥抱AI开始到现在，基本都是使用理工科的思维和体系来进行业务拓展和团队建设。而傅盛总说要“Think different”，而不是“Think better”，所以，在此我尝试通过“Think different”的文科思维的角度来讲述一下混沌的思考。
我认为，企业私有化大模型应该做如下准备：
第一点，团队共识很重要。在我看来，“知道要做”和“动身去做”是两回事，团队动起来才能真正的把企业私有化大模型做好。以混沌为例，为了要推动私有化大模型，混沌花了近大半年的时间去做准备。2023年4月份，混沌内部就意识到私有化大模型是一个机会。于是，我们在5月份、7月份、9月份分别开了一次合伙人级别的会议，三次会议没有得出非常具体的结论，但是形成了一个非常重要的共识，即“大模型很重要”。在团队上层达成一致后，10月份公司将各个部门骨干和核心员工聚集在一起又开了一次会，以探索2024年在课程制作方面混沌可以开拓哪些新维度。可以说，从4月份到10月份，整整6个多月的时间，混沌都是在做团队准备，进而自下而上在“要做大模型”上达成了一致。
第二，要有技术储备。混沌本身不是一家技术驱动的公司，我们可能因此不是最懂大模型的，但是，我们可以和精通大模型的团队合作，通过专业的团队建立好相应的私有化大模型，相当于为“AI新员工”做好办公层面的“基础设施”，进而形成基本的生产力。
第三，梳理和积累过往的内容和数据。这就好比，大学生入职后如何培训，以及过往的内容有没有流程化，有没有教材可以学习等等，都需要形成数据流，进而为大模型的生成做好准备。
第四，团队基本能力构建。比如，大学生入职后谁来领导他们，告诉他们工作重点和时点。为此，我们开始号召全员学习AI和相应的认知，如此员工才能知道如何指挥AI为工作赋能，以及如何迭代进步。
第五，找靠谱且愿意跟我们共同成长的供应商。因为人力管理是一件非常重要的事情，比如一千个员工的管理非常复杂，比如日常管理、社保缴纳等，因而需要找一个专业的AI服务商。简而言之，就是找优质的人力外包公司，这也是我们与猎户座合作的原因。
总之，需要做到面面俱到，但也不需要想得太复杂。
主持人韩笑：接着上述三位的回答，我想请问傅盛总，在数据准备、应用场景和数据安全等方面，猎户星空有没有赋能的策略可以帮助用户快速适应？
傅盛：我补充两点。第一，今天的AI变化很快，并不是简单用一个工具就可以完成，实际是整个生产流程、组织流程的改变，所以一把手自己一定要上。
第二，组织流程必须发生改变。比如，计算机信息化的时候，肯定不是买两台电脑和用一些软件就可以，而是需要培训，成立专门的部门，要进行各种考核才可以完成。为什么我们提出咨询服务，原因在于不可能用标准化的套件解决企业问题（至少在今天不行）。总之，大家还是要从逻辑上重新思考这件事。
至于数据准备，我觉得难度不大，因为AI把数据外延给打开了——以前，数据准备必须成为报表系统，现在只要有文字在里面就可以做出来。相反，我认为数据本身是跟着应用生长出来的，而不是先兜底再上，应该先慢慢实施，包括汪总讲的问题是特别通行的问题。
主持人韩笑：第二个问题希望请教代总，我们知道亚马逊云科技有众多不同领域、不同规模的企业用户，同时我们还有Amazon SageMaker这样的机器学习平台作为在生态里面的算力管理和运维服务商。从亚马逊云科技的视角看，不同规模的企业在采用私有化大模型时有哪些不同的诉求和挑战？
代闻：划分的维度有很多：一是小微型公司、初创公司和大企业的不同；二是国内与国外的不同。小微及初创公司更多的诉求是如何跑起来、跑得快，有明确的效益，这是首要的诉求。因此对模型能力开箱即用的要求是非常高的，这也符合绝大多数小企业对于SaaS的一些诉求。
大企业会复杂很多。比如，大企业可能有一些文档还没有电子化，电子化的文档格式可能很多、存储可能很分散，甚至需要考虑部门之间的不同权限，等等。大企业要求大模型落地既要有业务效果、又得是安全可控的。
简言之，大企业要稳、要达到成效，小企业需要更灵活易用的工具、更愿意承担试错风险。
至于国内和国外，考虑到国内外的模型生态是非常不一样的，因此如果要做全球的业务布局，就要考虑国内外分别用什么样的模型、框架来落地。此外，要特别考虑数据的合规和安全，哪些数据能传，哪些数据不能传，等等。
主持人韩笑：接下来我想请教一下汪总，中国移动终端已经拥有超2.9亿的家庭用户，同时我们也了解到中国移动终端正在发力于家庭智能硬件和终端算力，我们很好奇这些领域是否有应用私有化大型的可能性？
汪恒江：作为终端的业务单元，中国移动终端在考虑推进算力网络的过程中，去设想在端侧到底能不能承载智算的需求。今天也借此机会和大家介绍一些关于AI终端的基本情况。实际上，从今年开始，我们团队一直关注这个方面，因而我们也关注了一些重大事件：第一是高通和MTK两家芯片厂商在11月份陆续发布了两款旗舰机的芯片，基本上能跑到百亿级的参数。由于这两款芯片的发布，荣耀、VIVO、小米也随之发布自己的端侧模型。
第二是在2023年年底的AIPC，联想高管也正式提出来AI-ready和AI-on的说法。从目前的情况来看，2024年的上半年应该处于AI-ready。换句话说，在硬件层面，联想通过使用英特尔和英伟达的一部分芯片，已经准备好了。
所以，尽管很多人都说，大模型在中国落地比较难，但我个人认为AI在硬件落地的事情，应该是一个大概率的事情。因此，从这个角度上，未来可能有几个技术上的事情需要行业里逐渐攻关解决：
第一是关于协同的框架研究，端成本是非常敏感的。比如，智能音响的硬件需要300元，但假设300元的硬件都在云侧做一次GPT4的大模型推理的话，成本是200美金/月，显然是不可接受的。
第二是将模型的Size缩小到一定程度，能做一些专属领域的回答，剩下回答的不好的，“甩回”云侧来做。这样一方面解决成本的问题，一方面也解决了满意度的问题，以达到增流、减支。
第三是个性化。人类的很多数据是一定需要私有化和个性化的，特别是在端，比如手机里面的数据。所以，我们要构建一个在端侧能够在不出厂的情况下，能够进行个性化的模拟。
最后，AI终端对生态的影响也是非常深远的。大模型来了之后，应用之间的壁垒可能通过端来具体的协调。比如，选择哪一个打车软件，可能是端侧需要控制的，所以生态上可能会发生一些变化。以上是我的几点观察。
傅盛：我简单补充一下，刚才周总有一个误解就是你做机器人又做大模型，做了大模型就不做机器人，我觉得这两者完全不是对立的。为什么我们这么重视量化版，能在一千块钱的显卡中跑的版本，我们除了做企业经营应用之外，就是我们觉得端上有大模型是必然的，就今天汪总说的那些芯片厂商都在上，喊出了AIPC。
主持人韩笑：问题回到混沌学园张雷老师，混沌代表了泛内容行业的企业用户，同时，混沌作为创新创业商学教育的头部品牌，有大量的、来自各行各业顶级头脑的高质量语料沉淀。这一轮我们也是猎户星空的首批用户，请您跟大家谈谈，混沌是如何利用私有化大模型来推动业务发展的？
张雷：我认为泛内容行业应该是最先与AI结合，或者说最先被击穿的行业，因为泛内容行业天生就能够被数字化。举个例子，从物理性质和产业规律来看，声、力、热、光、电中，只有电符合摩尔定律，因此，芯片的迭代很快，性价比也呈现规模效应。但是，人形机器人则不然，很难把成本压缩得很低。
同理，内容行业拥有足够的语料库，有输入和输出的设备，能够与大模型和大模型上的相应应用匹配，让原来单向的、规范化的内容有了智能交互的可能，相当于插上智能化的翅膀。比如，通过智能化手段，直接呈现用户最想要的核心内容。
因此，混沌想做的就是借助大模型的智能化力量，让在混沌学习的同学，可以离想实现的目标更近几步。例如，参与线下课程的同学有机会与教练和导师一起交流，任何问题可以及时响应，导师也可以当面与学员打磨方案，因此，对于线下的同学而言，他们的收获是很大的。但是，同样的场景如果转到线上，就会遇到麻烦。比如，线上同学遇到问题要如何实现及时的响应？凡此种种，都需要一个更好的解决方案。
因此，混沌目前是通过训练大模型以实现以下几个目标：第一，帮助学员快捷吸收课程内容——同学对什么东西感兴趣，我们就直接推荐相应的内容框架、摘要。第二，为学员提供线上的陪练、教练，同学有什么商业方面的问题，比如要做IP，可以利用大模型系统化整理的理论和经验进行学习。
我们深知，学习成果的转化是需要时间的，且这个过程对于大多数人来说也比较累。所以，如果我们能够创造一些条件，例如，让学员直接获得答案或是专业人士陪伴式教学，就能缩短时间，降低学习难度，提升学习效率。与此同时，如果有数字分身，如数字教练、数字同学，既能够让线上同学之间随时保持交互，形成即时性的互动学习，不仅对于线上同学而言是好事，对于大模型的发展和混沌内部团队的认知和能力提升，也是好事。总之，混沌的终极目标是能否让更多人不花太多时间学习，就能迅速提升。
主持人韩笑：基于张雷老师的答复，我在此向傅总提出一个问题，我们是不是可以认为混沌的“学习官”也应该分学科、分领域进行更细化的再调优？以及在这样的情况下，它的回答质量会更高吗？
傅盛：第一，在猎户星空为混沌服务的过程中，我们确实是在不断地进行细化调优。因为没有完美的技术，重要的是，在技术的生长过程中做好足够的拆分，当做好垂类应用的时候，体验就会上去。第二，混沌做的尝试非常有意义，AI应用最先重塑的其实就是教育。比如，如果你在3月份给自己一个目标，不借助任何网上搜索、不看任何书籍，不找任何程序员，要学会用Python写一个贪吃蛇的游戏，如果没有相应经验可能很难，但如果你会使用AI助手，可能在几个星期的交互下，就有可能学会，真的是“乱拳打死老师傅”。
主持人韩笑：在各位看来，未来三年，私有化大模型将如何影响企业的未来发展？您会如何建议企业利用这些模型实现商业价值的最大化？
汪恒江：我认为，随着端侧硬件能力逐渐增强，模型算法和数据量的提高，假如2023年底出现一百亿的芯片，那么，2024年底出现三百亿承载的芯片是有可能的（假设）。
第二，家庭并不是一个端，而是有很多端和数据，端-端之间的数据打通也很关键。所谓的智能，是由感知开始，因此端-端之间就需要协同。数据汇集到强端点的时候，可能会起到比今天更加智能的智慧家居服务。
第三，今天讲私有化模型，其实是两个模型的迭代。端的模型可以在云上训练，谷歌Gemini有Nano 1和Nano 2，它是训练迭代，有两个迭代的飞轮：一是在本身私有化数据下定期的迭代；二是在云上训练出来端用的模型迭代。双轮迭代的数据也会让端的能力和模型有比较好的提升。
这是我展望的三个点，可能不是很成熟。
代闻：讲一下三年之后的期待，或者大概率会实现的事情。
第一，企业应用把AI能力作为默认选项。现在很多公司都已经开始尝试，比如保险公司使用AI研发新的产品，企业销售部门使用大模型分析商机、洞察业绩等等。
第二，工程领域里的工具链更加标准化。举个例子，现在我要退大促期间买的货，这可能会调动多个模型的多个能力，需要有很多的中间件，而这些中间件还没有标准化。希望三年后，无论是大厂还是初创公司，都可以使用相对标准化的工具链，让整个业态的创新能力加快发展。
第三，负责任的AI成为日常——企业在应用大模型能力的时候，对大模型的能力边界和企业责任边界有充分认知，而且有成熟的工具评估模型、支撑策略落地甚至策略发现。
张雷：我的第一点感受是，先解决应用问题，目前，在大模型领域还没有出现任何一个“杀手级”的应用，也还没有人通过研发相应的应用赚到钱。但是，从商业的角度来看，因为人类向前创造价值的规律是一致的，每个时代最重要的事情就是连接。哪怕供给侧不一定为我所掌控，但我可以在大模型的时代找到应用场景，且这个应用场景有人愿意付费，就有价值。当然，能否找到应用场景就需要创新者非常理解需求，所以一定是产业侧的人能做到，而混沌愿意成为第一个探索者。
第二点感受，未来三年，会有很多企业上私有化大模型。因为如果用大模型不私有化，相当于训练的员工是兼职的，虽然可以形成生产力，但无法形成竞争力，所以很多企业一定会做私有化的考虑，只有这样，才能形成可持续化的竞争力。
第三，2024年是混沌成立的十周年，我们自己定义“下一个十年就是AI时代”，商业世界这艘大船即将涌入AI时代的惊涛骇浪之中。在此，我稍微打一个广告，混沌计划在三月初三包一艘邮轮，我们称之为“AI时代的启愿之舟”，届时我们将会在船上举办一系列的活动，主题是围绕“对AI未来可能性的探索”，包括大模型、私有化、各行各业的应用。在此，我也先邀请在座几位上船，共同探索。
傅盛：三年在AI领域真的会变化很多。第一，一定规模的企业都是私有化大模型，这一点我是比较笃定的，它不像云，云是越公有成本越低。第二，一些原生应用会迸发出来，因为经过两三年的打磨，一定会出现像滴滴打车、美团外卖一样的产品，具体是什么我目前不知道。第三，机器人可以开始进入家庭，不一定是人形那种炒菜做饭，但可以陪伴父母、教育孩子，你做好Agent等可以轻松做到。
主持人韩笑：在讨论接近尾声之际，希望能够邀请四位嘉宾为我们正在展开的2024年留下一句寄语或者为大家送出一个2024年的“认知锦囊”。
傅盛：AI时代，所有人都在同一个起跑线上，所以其实机会是更大的，我觉得大家要躬身入局，认认真真深入学习，让自己成为AI时代的弄潮儿。
汪恒江：人人都需要私有化的个人大模型，并建立你自己的个人知识飞轮。
代闻：没有一个模型会统治一切，场景明确，以终为始。
张雷：带着大家跟我们一起上AI时代这艘船，海上夜里，可以看见猎户星空。
主持人韩笑：谢谢大家，今天的《2024·傅盛开年AI大课》到这里就要结束了，再次感谢每一位参与者的支持和贡献，也感谢线上同学们的一直陪伴。请大家继续关注猎户星空，继续关注混沌学园，我们邀请大家一起，继续探索AI的未来！
继续阅读
阅读原文