Z市台风模型地质一体化应用技术咨询实战“术”分享——模型的安全设计

Z市台风模型地质一体化应用技术咨询实战“术”分享——模型的安全设计

在台风模型开发流程和平台设计好之后，面临一系列开发动作。在模型开发的过程中，仍有不少安全漏洞被黑客攻击，导致安全事故。自从202年安全事件以来，大模型开发的种种漏洞接连被攻击，它就像一个新生儿，提抗力弱，经常遭受这个环境的侵扰。

于是，安全设计就像病后膏药一样，一贴接一贴被大家提起。病有轻重缓急，对症是不变原则。首先碰到的是Prompt安全漏洞，通过改写Prompt语句，获取服务器甚至内部网络主机信息。在模型开发过程就伴随着这个风险。当时设计了台风模型是可以通过数据集自动获取内网辅助信息，如果改写了Prompt就会导致大模型的算法开始搜索主机信息。这是当时发现的第一个安全漏洞。其次，利用大模型可以根据知识图谱关联台风路径参数的能力，提供了一些训练的知识图谱，大模型关联出内部知识图谱，而这些内部训练数据是秘密级别，大模型对信息安全等级并没有识别把关能力，会全盘托出搜索结果，导致数据泄露。这是当时发现的第二个安全漏洞。

发现了这两个漏洞，就像在目前网络上开了两个口子，数据信息可以随意进出。当初大模型架构设计时，曾设计了操作范围，分为部门内部、公司内部、特定范围公开和全球公开，四种公开范围，通过人员身份来识别数据是否可以通过口子进出。

仅仅在结果上把关是不够的。有些数据信息是某个环节进行特定范围限制，而在开发过程的其他环节，对数据信息却做了其他范围限制。因此，必须在开发流程上进行安全设计，逐个节点进行设计，才可以满足开发的需求。

欢迎点赞和关注“科技江河”，如果喜欢，打赏下呗，感谢