近日曝出，重庆某医院的一名医生遭遇了烦心事，明明医保卡就在自己身上，却被告之有人使用其医保卡二维码购买了数万元的保健品。直至警察上门才得知，原来是别有用心者通过“AI变脸”软件，盗刷了其医保卡。

过去一年多的时间里，生成式AI迅猛发展，在给人们的生产生活带来更多便利和想象空间的同时，也增加了安全方面的挑战与压力。人工智能带来的安全威胁既有技术层面的攻防对抗，也有系统自身的脆弱性，更有深层次的伦理方面的问题。

Gartner的研究表明，推动2024年网络安全趋势的主要因素包括生成式AI、持续威胁暴露、第三方风险等。Gartner预测，到2025年，生成式AI的采用将导致企业机构所需的网络安全资源激增，从而使应用和数据的安全支出增加15%以上。

面对方兴未艾的生成式AI浪潮，企业的安全与风险管理者，必须未雨绸缪，在技术、方案、组织架构和管理等多个维度提前做好应对准备。

安全是一种企业文化
面对生成式AI带来的安全挑战，许多国家和政府，以及企业已经积极行动起来。2023年7月，国家网信办等七部门联合发布了《生成式人工智能服务管理暂行办法》（以下简称《办法》）。为指导生成式AI服务提供者及相关主管部门落实《办法》要求，全国网络安全标准化技术委员会发布了《生成式人工智能服务安全基本要求》。这之后，国家网信办还会同相关部门按照《办法》的要求，有序推进生成式AI服务备案工作。

2024年3月13日，欧洲议会正式投票通过并批准欧盟《人工智能法案》。该法案将规范基础模型或生成式AI，同时将限制政府在公共场所使用实时生物识别监控来处理某些犯罪案件、防止恐怖袭击等真正威胁，以及搜查涉嫌最严重犯罪的人。据悉，该法案预计将于2025年初生效，并于2026年实施。

亚马逊首席安全官 Steve Schmidt
防范和抵御生成式AI可能带来的安全隐患，云计算、大数据、人工智能以及网络安全等诸多相关领域的厂商，应该实现最大范围和程度的协同。在接受《华尔街日报》采访时，亚马逊首席安全官Steve Schmidt表示：“安全团队的工作是帮助企业了解生成式AI等创新技术的好处和风险，以及如何利用它来提升企业的安全效率。”
实际上，安全已经内化为亚马逊云科技的一种公司文化。作为云计算的开创者和引领者，安全对于亚马逊云科技来说具有最高优先级。通过在实践中总结经验，亚马逊云科技构建起了行之有效的安全文化。Steve Schmidt本人正是亚马逊安全文化的践行者和倡导者之一。他表示：“我们不仅在前所未有的大规模企业中构建和运行起对应的超大规模安全体系，而且还形成了一种在安全领域中非同寻常的文化。我最引以为豪的事情，就是在企业中塑造正确的文化。”
安全是每个公司正常运营的底线。安全思想与文化的建立不可或缺。亚马逊云科技每周都会举行一次安全会议，CEO也会参加，以确保业务需求并关注安全问题。毋庸置疑，安全应成为公司每一个人的责任。
企业可以通过自动化的工具来逐步提高效率和竞争力，并且应将安全嵌入到整个开发过程中。通过对基础问题或复杂问题使用不同的工具，开发者可以清楚地了解安全的边界，并且使得开发过程更安全，审查效率也更高。
总之，安全应该是企业的一条基线。一个成功的安全团队也是企业所必备的。安全团队的成员应保持多样性，最好具有不同的性格或不同的背景、文化，并且在面对业务部门时，不能说“不能做这个，不能做那个”，而是应该告诉业务团队，这件事情可以这样做。
应用生成式AI时的安全建议
在今年全国两会期间，人工智能、新质生产力等成为高频词。国家也号召开展“人工智能＋”行动。确保人工智能应用落地，推动数字经济蓬勃发展，就必须统筹发展与安全。全国两会代表也都纷纷为数智时代的网络安全献计献策。比如，有的代表建议，进一步完善构建网络安全制度体系，加强个人信息保护和数据安全管理；也有的代表提出，应建设国家级、行业级、城市级的数字安全公共服务基础设施；还有的代表建议，相关企业应开展联合创新，围绕攻防实战和应用场景实现在“AI+安全”尖端技术方面的突破；另外还有代表呼吁，应尽快推进人工智能法出台，构建人工智能算法治理体系。

Steve Schmidt从他的专业角度给出了使用生成式AI时的安全建议。他认为，任何企业在涉及到生成式AI的安全问题时，都应先问自己三个问题。

第一个问题，数据在哪里？企业必须清楚在使用数据训练模型的整个工作流程中，相关数据来自哪里，以及数据是如何被处理和保护的。

第二个问题，我的查询和任何相关数据会发生什么？训练数据并不是企业需要关注的唯一敏感数据集。当企业开始使用生成式AI和大型语言模型时，很快就会掌握如何让查询更有效。而这之后，他们会在查询中添加更多细节和具体要求，从而获得更好的结果。企业使用生成式AI进行查询，就必须清楚地知道生成式AI服务会如何处理输入进模型的数据以及查询结果。企业查询本身也是敏感的，应该成为数据保护计划的一部分。从外部视角看，从用户提出的问题中可以推断出很多信息。在很多情况下，这些信息都是非常敏感的，也需要得到关注和有效处理。

第三个问题，生成式AI模型的输出是否足够准确？这是最重要的一点。从安全的角度来看，生成式AI的使用场景定义了风险。也就是说，不同的场景对准确度的要求是不同的。如果你正在使用大型语言模型来生成定制代码，那么你就必须确认这个代码是否写得足够好，是否遵循了最佳实践等。

在弄清上述问题之后，企业开始利用生成式AI进行业务创新时，必须在安全方面特别注意以下三种情况。

首先，安全团队说“不”很容易，但这并不是正确的做法。企业培训内部员工了解公司使用人工智能的政策，让员工知道应该如何安全地使用它。Steve Schmidt表示，对于企业的安全团队来说，说“不”很容易，但对于所有的业务团队和开发人员来说，绕过安全团队也同样容易。因此，为了让企业正确、安全地使用生成式AI，最好的做法是教育、告知、指导、设置防护栏，并使用能够满足预设目标的云服务，同时还要精确了解这些服务如何使用和保留数据。

其次，可见性非常重要。企业需要通过可见性的工具，了解员工如何使用数据。企业有必要限制工作需求之外的数据访问。如果发现有不符合政策的情况发生，例如在涉及到非工作需求之外的敏感数据访问时，就要立刻阻止这种行为。在其他情况下，比如员工使用的数据不太敏感，但是可能会违反政策，企业应主动联系员工详细了解其真实的使用目的，并寻求妥善的解决之道。

最后，通过机制解决问题。机制是可重复使用的工具，允许我们随着时间的流失精确地驱动特定的行为。例如，当员工有违规操作时，系统会通过弹窗等方式提示员工，并建议使用特定的内部工具，同时就相关问题进行报告。

以上是Steve Schmidt的经验之谈。他表示：“利用生成式AI提升安全代码的编写工作，能够有效地推动整个行业进入更高级别的安全领域。”
用AI对抗AI
“用AI来对抗AI”，这是当前人们普遍接受的一种方式。在防范黑客方面，生成式AI有效提升了安全工程师的效率。企业可以使用生成式AI模型构建自动响应流程，并可以对预定事件进行快速响应和输出。尤其是在人工交互领域，大模型可以让不懂技术的管理人员也能在安全事件发生时快速理解发生了什么。举例来说，Amazon Detective有一个基于生成式AI的流程来构建安全事件的文字描述，这意味着安全工程师可以拿到准备好的内容，对其进行调整，在确保准确的前提下用于解释正在发生的事件，从而节省数小时的时间。

另外，借助生成式AI，还可以有效缓解当前网络安全人才短缺的情况。Steve Schmidt表示，使用人工智能和机器学习技术，可以让企业更快更有效地识别和解决安全问题。举例来说，生成式AI在检测客户账户中的异常行为方面发挥了巨大作用，可以帮助企业更准确地隔离和提醒个别用户的高度可疑行为。这样一来，企业的安全团队就可以将精力集中在战略业务计划和更高价值的任务上，而不是仅仅用来发现和响应事件。

在技术和服务上，亚马逊云科技已经全面就绪，面对生成式AI带来的安全挑战，能够做到防患于未然。在2023 re:Invent全球大会上，亚马逊云科技推出了具有生成式AI能力的安全服务能力。Amazon Inspector的Amazon Lambda函数代码扫描功能，能够利用生成式AI和自动推理实现代码修复。基于生成式AI，亚马逊云科技能够为多种类别的漏洞创建与情境相关的代码补丁，这有利于开发者快速进行验证和代码替换等操作，从而快速有效地解决问题。Amazon Detective能够使用生成式AI提供调查发现组摘要。具体来说，生成式AI可以自动分析调查发现组，并以自然语言提供洞察，从而加快进行安全调查。Amazon Detective服务的目的是让用户更轻松地分析、调查和快速确定潜在安全问题或可疑活动的根本原因。对于安全专家来说，这有助于验证他们已经观察到的事物，并简化他们的工作；而对于软件开发者来说，Amazon Detective通过使用AI能够让他们更容易理解安全调查中所需的相关高级安全知识。概括来说，这两项服务都极大地提升了企业安全实施的效率，彰显了生成式AI技术在安全领域的巨大潜力。

2024年3月7日，亚马逊云科技宣布，通过与光环新网和西云数据的紧密合作，在亚马逊云科技（北京）区域和（宁夏）区域推出一项完全托管的服务——网络防火墙服务Amazon Network Firewall，帮助客户更轻松地为其运行在亚马逊云科技上的工作负载提供网络安全防护。

另外，亚马逊云科技还通过加强与合作伙伴的协作，为客户提供更安全的运营环境。比如，Palo Alto Networks（派拓网络）利用亚马逊云科技中国区域加速其安全解决方案落地中国，覆盖网络安全、云安全、运营安全以及威胁情报和咨询，提供全球一致的安全体验。再比如，英伟达GB200将受益于Amazon Nitro系统增强的安全性，在客户端和云端全程保护客户的代码和数据在处理过程中的安全。这一独有的功能已经获得了领先的网络安全公司NCC Group的独立验证。

Steve Schmidt表示，亚马逊安全团队多年来一直致力于应用各种人工智能技术改善客户体验。在最开始的阶段，编写更加安全的代码是生成式AI带来的重大影响。从安全和成本的角度来看，一开始就编写安全的代码，比在编写完成后或者已经进行了集成测试，甚至交付给客户后再去修改要好得多。可以说，代码的编写方式是信息安全中最大的杠杆因素之一。亚马逊安全团队利用开箱即用的生成式AI应用，从代码阶段开始，持续推动安全行业升级。
往/期/回/顾
从科技赋能到价值引领，东莞证券可进化的信创云建设启示录“智算”雄起 | 智算操作系统要“顶天立地”
亚马逊云科技突破生成式AI“最后三公里”
以安全为支点，看亚马逊云科技如何撬动数据价值
云安全，亚马逊云科技“真有一套”
继续阅读
阅读原文