银行应用生成式AI，大模型如何选？

现在整个市场上的模型提供方非常多，对银行而言，模型的选型是从根本上解决生成式AI应用场景质量的关键输入点。

这些问题都值得我们思考。BCG专家在《银行业生成式AI应用报告（2023）》中是这样说的：

若要在全行前中后台规模化应用大模型，银行需要从算力准备、模型选择和配套能力升级，做整体的规划。

主要结论：

1	算力准备。即使不从0到1训练大模型，只是进行精调，也需要相对较高的算力资源；若规模化应用，需在基础算力和稳定性上做好充分准备，特别是GPU。
2	模型选择。面临商用模型和开源模型两个路径的选择，两大路径各有优势，需充分权衡利弊；大模型不一定越“大”越好，训练语料、训练方法、训练时长等都很重要，业务团队的输入也非常重要；选择模型可以从准确性、置信度、鲁棒性、公平性、毒性、效率等多个维度进行验证。
3	配套应用开发能力的构建。一是面向业务团队搭建基于自然语言交互、支持“托拉拽”的开发工具；二是针对“提示词设计”构建常态化的专项研发管理机制；三是强化模型测试、输出审查过滤、对模型表现进行持续监控等风险控制能力。

★

预告

★

生成式AI在银行业规模化应用的落地，是一个体系性工程。你知道其中的“10/20/70”法则吗？关注我们，下期继续。

关于作者

何大勇

是波士顿咨询公司（BCG）董事总经理，全球资深合伙人。如需联络，请致信[email protected]。

谭彦是波士顿咨询公司（BCG）董事总经理，全球合伙人。如需联络，请致信[email protected]。

孙蔚是波士顿咨询公司（BCG）合伙人。如需联络，请致信[email protected]。

窦德景博士是波士顿咨询公司（BCG）合伙人兼副总裁，BCG中国区首席数据科学家。如需联络，请致信[email protected]。

廖明博士是波士顿咨询公司（BCG）数据科学业务副总裁。如需联络，请致信[email protected]。

冯志宇

是波士顿咨询公司（BCG）董事经理。如需联络，请致信[email protected]。

如需联络，请致信[email protected]