Z市台风模型地质一体化应用技术咨询实战“术”分享——模型安全测试架构搭建

Z市台风模型地质一体化应用技术咨询实战“术”分享——模型安全测试架构搭建

接着上回谈到安全架构设计，自从构造了台风模型之后，内部开始搜集数据集并训练台风模型，随着训练不断增多，慢慢暴露了很多安全漏洞，台风模型内部也遭受攻击。上回谈论两种漏洞：Prompt漏洞和数据外泄漏洞。

在项目中，台风模型在开发过程中还有几种安全漏洞被攻击了，还是在台风模型上引用了一些开源组件，这带来了安全漏洞，被通过组件和模型的接口，攻击进入了模型的RAG库，导致数据外泄。这个漏洞是组件后门，之后到了社区补丁，打上之后才补上后门。组件攻击其实在模型安全测试架构是可以设计出来的，由于台风模型之前没有告知引用的组件，安全测试流程环节就放过了组件安全测试的环节。

在诸多攻击中，除了已发现的漏洞外，还有一个意外的安全漏洞，本来不会被攻击。这就是“数据投毒”漏洞。在训练台风模型时候，由于局内历史台风轨迹记录材料缺乏，只有一百多份材料，远不够大模型训练的数据集数量要求，只能从互联网上爬取很多公开的文档资料，但这种方式也引入了非法数据和病毒数据。这上千份数据输入到大模型内部后，有些错误数据引起了大模型过度泛化，把错误数据集当成正确数据集来对待，产生幻觉，降低了准确率。

在复核准确率的时候，发现这些数据集台风轨迹参数特别大，有的轨迹甚至是大陆台风数据或者南极和北极台风的数据，这些都是错误数据，偏离正常观测范围太远。发现了“数据投毒”漏洞后，人工加上了数据清洗和校验环节，从而堵住了安全漏洞。