普华永道咨询公司于2024年9月19日开始提供由“AI红队”进行的服务,通过模拟攻击来识别AI服务的漏洞及相关业务风险。根据经济合作与发展组织(OECD)发布的《OECD AI事件监测报告》显示,自2023年2月起,AI服务相关的事件急剧增加,以前每月少于100起的事件在2024年2月已超过800起。
普华永道咨询公司的AI红队从潜在攻击者(网络攻击者、犯罪者、恶搞者等)的视角对AI服务进行模拟攻击,旨在事件发生前识别业务风险并支持主动对策的构建。首先,基于AI服务的使用案例设计符合AI滥用的测试。然后,精通AI安全的工程师根据各研究机构和团体的框架、最佳实践以及攻击手法的研究,实施模拟最新威胁的测试。
此外,对于检测到的问题,普华永道还将与精通数据科学的专业团队合作,从实施层面的输入输出过滤器的改进到MLOps(机器学习操作)的提升、AI治理的整备和改进等,提供全面的设计和运营建议。