最后更新于2024年6月14日星期五14:07:51 GMT
AI- trism - AI时代的信任、风险和安全管理
Lara Sunday和Pojan Shahrivar共同撰写
随着人工智能(AI)和机器学习(ML)技术的不断发展和扩散, 各行各业的组织都在这些变革能力上投入了大量资金. 根据Gartner的数据，到2027年，人工智能软件的支出将增长到297美元.90亿美元，年复合增长率为19%.1%. 生成式人工智能(GenAI)软件支出将从2023年占人工智能软件的8%上升到2027年的35%.
承诺提高效率, 个性化, 和创新, 组织越来越多地转向云环境来开发和部署这些强大的人工智能和机器学习技术. 然而, 这种快速的创新也带来了新的安全风险和挑战，必须积极应对，以保护有价值的数据, 知识产权, 并维护客户和利益相关者的信任.
云环境对人工智能开发的好处
云平台提供了无与伦比的可扩展性, 允许组织轻松地扩展或缩小计算资源，以满足培训和部署复杂人工智能模型的苛刻要求.
“按需调整资源的能力改变了我们人工智能开发的游戏规则,斯图尔特·米勒说, Rapid7首席人工智能工程师. “我们可以在训练高峰期快速提供必要的计算能力, 然后，当不再需要这些资源时，缩减规模以优化成本."
云环境还为开发人工智能模型提供了一种经济有效的方式, 基于使用的定价模式，避免了在硬件和基础设施上的大量前期投资. 另外, 主要的云提供商提供访问尖端的人工智能硬件和预构建的工具和服务, 例如Amazon SageMaker, Azure机器学习, 和谷歌云人工智能平台, 哪一个可以加速开发和部署周期.
基于云的人工智能开发的挑战和风险
虽然云为人工智能的发展提供了许多优势, 它还引入了组织必须应对的独特挑战. 对复杂数据流和模型更新的有限可见性可能会给安全团队带来盲点, 使他们无法有效地监控潜在的威胁或异常情况.
在他们的 人工智能威胁形势报告, HiddenLayer强调，在接受调查的所有公司中，有98%的公司认为，他们的人工智能模型中的元素对他们的商业成功至关重要, 77%的人在过去一年中发现了人工智能的漏洞. 另外, 多云和混合部署带来了监控, 治理, 报告的挑战, 这使得在不同的云环境中评估AI/ML风险变得困难.
新的攻击向量和风险类型
在云中开发人工智能也使组织面临新的攻击媒介和风险类型，而传统安全工具可能无法检测或缓解这些攻击媒介和风险类型. 一些例子包括:
即时注射(LLM01): 想象一个用于生成营销文案的大型语言模型. 攻击者可以制作一个特殊的提示，欺骗模型生成有害或攻击性的内容, 损害公司的品牌和声誉.
训练资料中毒(LLM03, ML02): 攻击者可以篡改训练数据，从而损害基于云的人工智能模型的完整性和可靠性. 以安全监控系统中用于图像识别的人工智能模型为例, 含有错误标记图像的有毒训练数据可能导致模型生成错误的分类, 可能遗漏的关键威胁.
模型盗窃(LLM10, ML05): 未经授权访问部署在云中的专有人工智能模型会对知识产权和竞争优势构成风险. 如果竞争对手窃取了一个经过公司敏感数据训练的模型, 他们可能会复制它的功能，并获得有价值的见解.
供应链漏洞(LLM05, ML06): 妥协库, 数据集, 或云人工智能开发管道中使用的服务可能导致广泛的安全漏洞. 恶意行为者可能会在广泛使用的人工智能开源库中引入漏洞, 然后可以利用它来访问由多个组织部署的人工智能模型.
开发确保人工智能开发的最佳实践
应对这些挑战和风险, 组织需要开发和实现适合其特定业务需求的最佳实践和标准, 在促进创新和引入风险之间取得适当的平衡.
而像NCSC安全人工智能系统开发和 负责任的人工智能开放标准 提供一个有价值的起点, 组织还必须根据其独特的业务需求开发自己的定制最佳实践, 风险偏好, 和AI/ML用例. 例如, 开发欺诈检测人工智能模型的金融机构可能会优先考虑围绕数据治理和模型可解释性的最佳实践，以确保遵守法规并保持决策过程的透明度.
在制定这些最佳实践时需要考虑的关键因素包括:
确保在整个人工智能生命周期中安全的数据处理和治理
- 为AI/ML资源实现健壮的访问控制和身份管理
- 验证和监控人工智能模型的潜在偏差、漏洞或异常
- 为特定于人工智能的威胁建立事件响应和补救流程
- 保持透明度和可解释性，以理解和审计人工智能模型行为
Rapid7确保AI开发的方法
“在Rapid7, 我们的InsightCloudSec解决方案提供了跨主要云提供商运行的AI/ML资源的实时可见性, 允许安全团队持续监控潜在风险或错误配置,Aniket Menon说, VP, 产品管理. 可见性是任何环境中有效安全的基础, 在人工智能开发的复杂世界中尤其如此. 对你的AI/ML资产和活动没有清晰的认识, 你实际上是在盲目操作, 使您的组织容易受到一系列威胁."
在Rapid7，我们的AI TRiSM(信任、风险和安全管理)框架授权我们的团队. 该框架不仅为我们的运营提供了信心，也为我们推动创新提供了信心. 在他们最近的 blog 概述了公司的人工智能原则, 劳拉·埃利斯和萨宾·马利克分享了Rapid7如何处理和应对人工智能挑战. 以透明度为中心, 公平, safety, 安全, 隐私, 和问责制, these principles are not just guidelines; they are integral to how Rapid7 builds, 部署, 并管理人工智能系统.
安全性和遵从性是两个关键 InsightCloudSec 功能. 合规性包是针对所有资源的行业需求和标准的相关见解的开箱即用的集合. 遵从性包可能侧重于安全性, costs, 治理, 或者是跨各种框架的组合, e.g.、HIPAA、PCI DSS、GDPR等.
去年，Rapid7推出了Rapid7 AI/ML安全最佳实践合规性包, 通过支持跨AWS的GenAI服务，该软件包允许实时和持续地查看在云上运行的AI/ML资源, Azure和GCP. 使您能够在组织需求和优先级的上下文中评估这些数据, 你就可以自动将AI/ ml相关的风险按优先级排序 分层的上下文 基于可利用性和潜在的业务影响.
您还可以利用InsightCloudSec中的身份分析来收集和呈现给定用户或角色在特定时间段内执行的操作. 收集并分析这些记录的操作, 为您提供整个组织中谁可以访问AI/ML资源的视图，并根据最小权限访问(LPA)概念自动调整大小. 这使您能够战略性地通知您的政策向前发展. 本机自动化允许您对评估采取行动，以警告遵从性漂移, 修复AI/ML风险, 制定预防机制.
Rapid7持续致力于人工智能创新
作为第一个签名人 CISA安全设计承诺，并通过我们的 伙伴关系 与女王大学贝尔法斯特安全信息技术中心合作, Rapid7始终致力于与行业领导者和学术机构合作，领先于新兴威胁，并开发尖端解决方案，以确保人工智能的发展.
随着人工智能和机器学习功能的采用不断加速, 组织必须拥有知识和工具来做出明智的决策并建立信心. 通过实施强大的最佳实践和利用先进的安全工具，如InsightCloudSec, 组织可以利用人工智能的力量，同时降低相关风险，并确保其有价值的数据和知识产权得到保护.
了解有关Rapid7如何帮助您的组织开发和实施确保AI开发的最佳实践的更多信息, 访问我们的网站 请求演示.
Gartner, 预测分析:人工智能软件, 2023-2027, 在世界范围内, 阿里伍德沃德, et al, 2023年11月7日
