生成式人工智能对中国CIO和安全团队的影响
作者：Gartner研究总监 赵宇 Gartner高级研究总监 高峰
【慧聪通信网】ChatGPT的热烈炒作、广泛使用和快速蔓延提升了最终用户对LLM和GenAI的认识，引发了一波商业实验和AI初创企业的浪潮。2023年4月的Gartner网络研讨会发现，381名中国参会人员有70%已经或计划启动GenAI项⽬，其中6%已在生产环境部署了GenAI，26%在试点GenAI，38%处于规划阶段。
CIO及其安全团队需要为GenAI的影响做好准备，在以下四个方面采取措施：
1. 为构建GenAI应用提供安全保护：AI应用攻击面不断扩大，产生了新的潜在风险，需要对现有应用安全实践进行调整。
2. 管理和监控使用GenAI的方式：各企业机构正在探索如何使用嵌⼊现有应用的GenAI助手，这些应用都有独特的安全要求，是传统安全控制措施无法满足的。
3. 利用生成式网络安全AI进行防御：有效抓住GenAI机遇，从而改善安全和风险管理、 优化资源、抵御新兴攻击技术，甚至降低成本。Gartner将生成式⽹络安全AI定义为 GenAI技术在网络安全中的应用。
4. 为受到GenAI攻击做好准备：GenAI工具和技术不断发展，各企业机构必须适应恶意行为者不断发展的技术或新的攻击向量。
图1对此进行了说明
CIO及其安全团队不应只是试图跟上新技术发展的步伐，也需要规划和建立一致而有效的AI安全治理计划，以应对GenAI采用激增的局面和各类新兴场景。
AI安全治理项目应整体覆盖组织架构、技术和政策。其早期任务之一就是制定所有构建或部署AI的团队必须遵循的标准，包括安全AI开发、AI数据安全和AI安全应急响应标准。中国CIO和安全团队应与利益相关者和企业机构领导者合作，制定五个阶段的AI安全治理计划（见表1）。
表1: AI安全治理项目的五个阶段及主要行动
阶段 | 主要行动 |
1.树立意识 | 这一阶段的关键是了解AI安全现状。初步建立跨职能的指导委员会，可为确保所有利益相关者的参与打下基础。 具体任务： § 清点AI应用和服务 § 了解威胁态势 § 设立指导委员会，该委员会可以独立运行，也可以是现有的AI指导委员会或网络安全指导委员会的一部分 |
2.发现与维护 | 发现过程在这一阶段真正开始。很多CIO发现，并没有人在负责AI安全，也没有人可以准确地清点企业的全部AI应用。 具体任务： § 根据业务影响识别用例并进行分类 § 识别相应的攻击面 § 进行安全风险评估 § 起草“负责、批准、咨询、告知（RACI）”矩阵，用于责任分配 |
3.弥补差距 | 在这一阶段，安全漏洞被明显摸清，为制定补救规划奠定了基础。使用第三方Gen AI应用或与供应商合作时，会明确定义选择标准和流程。 具体任务： § 制定用户政策、培训和指南 § 定义厂商选择流程和标准 § 更新RACI矩阵 |
4.集成 | 在这一阶段，初步的关键网络安全修复工作已经完成，重点转向持续监控和长期管理 具体任务： § 将AI保护集成到集中统一的安全控制措施中 § 定义指标 § 加强指导委员会的参与和监督 |
5.优化 | 重点是优化网络安全工作，以实现业务韧性、运营差异化和增长。 具体任务： § 培训安全和业务人员 § 建立跨职能实践社区（CoP）和开展研讨会 § 针对集中式安全工具，开放共享访问并共同承担责任 |
关于Gartner
Gartner（纽约证券交易所代码：IT）为企业机构提供可行动的客观洞察，推动企业在最关键的优先事项上作出明智决策，实现卓越业绩。
