澳洲Medicare数据系统遭AI入侵,新西兰专家警示网络安全漏洞

新西兰隐私专员(Privacy Commissioner)上周下令 Manage My Health 和 Health NZ 进一步加强安全措施,此前这两家机构在去年12月遭遇重大数据泄露。

当时,一个勒索软件团伙窃取了超过40万份文件,其中包含私人医疗和个人信息记录。奥克兰大学商学院(Business School)金融与会计学者 Dulani Jayasuriya 博士与商法教授 Alex Sims 指出,随着具备自主行动能力的人工智能(agentic AI)兴起,新西兰确保数字系统安全已变得更加迫切。

传统网络安全工作主要针对人类黑客和常规自动化工具构成的威胁。如今,还必须应对能够即时调整攻击方式、突破系统防线的高度智能化AI代理。

最近发生在澳大利亚的一起重大数据入侵事件,正说明了这种风险。

当AI能够自主行动

今年6月,OpenAI研发的一个自主AI代理(autonomous AI agent)在执行一项涉及澳大利亚统计数据的内部研究任务时,超出了原定任务范围,未经授权访问了澳大利亚服务部(Services Australia)旗下的Medicare统计数据门户。

目前没有证据显示该AI代理访问了个人Medicare记录或患者个人信息,但这起事件的影响范围可能更广,或波及其他澳大利亚政府数据库。

过去两年,公众对ChatGPT等大型语言模型的讨论大多集中在其生成内容可能带来的问题:「幻觉」式虚假信息、版权侵权、学术作弊和「深度伪造」(deepfake)。

但对政府和企业而言,真正的结构性风险在于AI的自主行动能力。

AI代理与普通聊天机器人不同,它们将语言模型与工具、记忆功能及连续执行一系列操作的能力结合在一起。AI代理不只是给出一个答案,还能观察执行结果、调整下一步行动,并在有限的人工监督下持续朝着目标推进。

当这样的AI代理接触到政府网站时,它的行为不会像遵循固定指令的传统爬虫软件。例如,如果某个表单发生变化,或某条路径失效,它能够随机应变,尝试其他方式。而且与人类黑客不同,它不会因反复尝试而感到疲惫。

这一切发生之际,新西兰公共部门正加速推进数字化转型。从集中化的医疗数据项目到数字身份框架,政府已大力推动服务上线。但这套数字架构大多依赖标准化的现成云基础设施和开放网络接口,而这些系统的设计初衷是应对更早期的安全威胁。

新西兰政府采用的许多企业技术、云服务和网络协议,与澳大利亚及其他「五眼联盟」(Five Eyes)情报共享伙伴所使用的系统相同。

当多国政府使用相似的网络技术和商业平台时,一个系统中发现的漏洞也可能存在于其他系统中。一旦自动化系统找到突破口,就能迅速且低成本地将同样的方法用于测试其他系统。

规模也是一大挑战。全球科技公司和自动化网络攻击者掌握庞大的计算资源,而新西兰这样的小国网络安全预算有限,技术人才也短缺。

AI代理行为造成的后果,取决于它能访问到什么、获得了哪些权限——无论是被恶意人士利用,还是突破了操作者设定的边界。

其影响范围可能从未经授权访问信息、侵犯隐私,到自动化欺诈或干扰数字服务。即便涉及的数据敏感度相对较低,一旦相关机构无法说明访问是如何发生的,或无法及时察觉,也会削弱公众信心。

为自主型AI做好准备

那么,新西兰应该关注什么?

随着AI越来越擅长以类似人类用户的方式与网站互动,访问控制、身份验证系统以及限制用户操作速度的「速率限制」(rate limit)机制都需要相应升级。

人工监督也可能需要扮演更重要的角色。涉及敏感数据、牌照、付款或个人记录的高风险操作,或许需要增加额外的安全核查或人工审批环节。

这并不意味着要时时验证用户是不是真人,而是要确保获得某个账户的访问权限,不会连带让人获取他人的信息。

另一个重点是用未来可能被用来攻击系统的工具,反过来测试系统本身。

其中一种做法是「红队测试」(red teaming),即由安全专家先于他人入侵系统、找出漏洞。但随着AI代理能力不断提升,这类测试也需要将AI代理本身纳入考量。

政府部门可以在受控环境中,让自主AI代理针对自身系统执行任务,赋予其具有现实意义的任务,观察它是否会获得本不该拥有的信息或功能访问权限。

新西兰还需要培养自己的专业能力,以测试自主型AI系统的安全弱点。

这需要政府部门、高校和可信的安全服务商之间具备足够的专业力量,独立测试境外AI系统与新西兰基础设施的互动方式,而不能仅仅依赖这些系统的开发者。

在这个AI代理崛起的新时代,新西兰可以选择加强数字防御以跟上自主机器的步伐,也可以选择等到一次数据泄露事件不可避免地暴露出系统漏洞。

正如澳大利亚的这次事件所显示的那样,如今关键的安全问题已不再只是「谁被允许进入数字大门」,而是「当一台机器学会了如何打开这扇门时,会发生什么」。

本文观点仅代表作者个人意见,不代表奥克兰大学(University of Auckland)官方立场。文章首发于The Conversation。