系列导读
我们近期在哈佛商学院、麻省理工学院斯隆管理学院、宾夕法尼亚大学沃顿商学院和华威大学等高校学者的支持下1,完成了一项前所未有的生成式AI应用实验,目标是检测生成式AI能在多大程度上影响脑力工作者的工作效率。共758名BCG咨询顾问自愿参加,他们来自世界各地,拥有本科以上学历,平均工作年限长达四年。

1哈佛商学院Karim R. Lakhani 教授、Fabrizio Dell'Acqua 博士和 Edward McFowland III 教授、宾夕法尼亚大学沃顿商学院的 Ethan R. Mollick 教授、华威大学的 Hila Lifshitz-Assaf 教授以及麻省理工学院斯隆管理学院的 Katherine C. Kellogg 教授协助我们设计了本项研究。负责学术工作的同事完成了数据分析工作。
实验设计
实验围绕两类任务设计。
第一类任务的重点是产品创新,要求参与者集思广益,设计新产品来解决目前尚未满足的需求,为每种产品开发商业案例、制定测试与发布计划,并撰写备忘录来说服他人采纳该创意。参与者在实验中需要解决的部分问题如下:
  • 你在某鞋业公司的新品开发部门工作。请针对特定运动场景给出新鞋设计创意。请发挥创造力,提出至少十个想法。
  • 简明扼要地全面列出推出该产品所需完成的步骤。
  • 根据你所掌握的信息,按用户特点对市场进行细分。为每个细分市场制定一个营销口号。
  • 提出三种方法,测试你的营销口号对目标客户是否有效。
  • 为该产品的新闻发布会撰写营销文案。
第二类任务侧重于解决商业问题,要求参与者根据某虚构公司的高管访谈记录和历史业绩数据来了解该公司下属三个子品牌的市场定位和经营表现,增加对其中一个品牌的投资进而提升公司整体营收水平和盈利能力。参与者需解决的问题具体描述如下:
Kleding(一家虚构公司)的首席执行官哈罗德·范· 穆伊德斯(Harold Van Muylders )想要通过分析公司旗下三个品牌(Kleding Man、Kleding Woman 和 Kleding Kids)的业绩来挖掘更深层次的问题。目前已有的信息包括公司内部人士访谈实录和各品牌分列的财务数据。根据已有信息,假如该首席执行官必须选择一个品牌进行重点投资,以便推动公司营收增长,应该选择哪个品牌?做出这一选择的理由是什么?请用数据和/或访谈记录信息支持您的观点。
 结果发现
实验的整体结论可以概括为:使用生成式AI工具并不能总是帮助人们达到更好的工作结果。此外,在生成式AI可以发挥巨大价值的领域,人们往往对其不够信任;而在不适用该技术的领域,人们又对其太过信任。具体表现如下:
  • 在处理第一类创意任务时,约90%的实验参与者表示,GenAI技术提高了他们的创意构思水平;并且经研究,相比在GenAI生成结果的基础上再进行人工优化,将生成结果直接拿来使用能达到更好的效果。
  • 在处理第二类解决商业问题任务时,GenAI目前还没展现出可以胜任的能力,而当许多参与者毫不怀疑地采信了GPT-4生成的错误结论,他们的工作表现甚至比完全不用GenAI的人要差 23%。
  • 要想在工作中用好GenAI,企业要在管理中投入大量精力来推进相关变革。领导层有责任帮助员工以正确的方式使用新技术完成适合的任务,还要在GenAI的应用范围持续扩大的过程中不断进行调整和适应。
更多详情,请参见完整版解析
关于作者
范史华(François Candelon)是波士顿咨询公司(BCG)董事总经理,全球资深合伙人,BCG亨德森智库全球负责人。
Lisa Krayer是波士顿咨询公司(BCG)项目经理,驻BCG亨德森智库代表。
Saran Rajendran是波士顿咨询公司(BCG)项目经理,驻BCG亨德森智库代表。
David Zuluaga Martínez是波士顿咨询公司(BCG)合伙人,驻BCG亨德森智库代表。
除来自前述学术团队的合作者外,作者还要感谢 Clément DumasGaurav JhaLeonid ZhukovMax MännigMaxime Courtaux提出的有益意见和建议。同时感谢Lebo NthoiwaPatrick HealySaud AlmutairiSteven Randazzo在采访实验参与者时所做的工作。作者还要感谢所有自愿参与本实验的BCG同事。
关于中国区专家
阮芳是波士顿咨询公司(BCG)董事总经理,全球资深合伙人,BCG组织与人才专项中国区负责人,BCG亨德森智库中国区联席负责人。
何大勇是波士顿咨询公司(BCG)董事总经理,全球资深合伙人,BCG亨德森智库中国区联席负责人。
感谢BCG同事窦德景博士和郑惟对本文的贡献。

如需联络,请致信[email protected]
关于BCG亨德森智库
BCG亨德森智库是波士顿咨询公司的战略智库,致力于采用远见卓识来探索和开发新颖的商业、技术和科学领域的宝贵洞察。亨德森智库邀请商业领袖进行思维碰撞式的讨论和实验,以拓宽商业理论和实践,并从业务内外汲取转化创新理念。
媒体垂询,请致信[email protected]
推荐阅读

更多精彩敬请关注BCG视频号
扫描左侧二维码
关注BCG数智港
快来关注我们吧
声明
原创内容的最终解释权以及版权归波士顿咨询公司所有。如需转载文章,请在信息栏输入“转载”,获取转载须知。
继续阅读
阅读原文