百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

大模型安全挑战加剧:框架层漏洞成新靶心

ccwgpt 2025-07-28 15:46 2 浏览 0 评论

近日,360数字安全集团发布了一份关于大模型安全漏洞的报告,揭示了当前大模型及围绕其构建的框架和应用中存在的严重安全问题。报告显示,360近期研究发现了近40个大模型相关的安全漏洞,其中既包括二进制内存安全、Web安全等经典漏洞类型,也包含由大模型自身特性引入的综合性问题。影响范围覆盖多个知名模型服务框架及国际厂商开发的开源产品。更为严重的是,在对目前流行的框架进行审计后,发现几乎所有的框架都缺乏有效的安全保护策略。

报告指出,大模型在软件设施和具体应用场景落地中面临诸多安全挑战。这些挑战涵盖了模型层安全、框架层安全和应用层安全。在模型层,攻击者可以通过数据投毒、后门植入、对抗攻击等手段,使得模型无法正常完成推理预测,或绕过安全限制,生成不当内容。而在框架层,问题则更为复杂。目前的大模型项目需求不断增长,各类开源框架层出不穷,这些框架虽然提供了完整的开发周期功能,降低了构建AI应用的门槛,但同时也打开了新的攻击面。

360对目前流行的框架进行审计后发现,几乎所有的框架都缺乏有效的安全保护策略。由于框架底层主要使用非内存安全语言进行编程,如C/C++,因此在优化算法的代码实现过程中很可能引入内存安全问题。此外,框架在接受并处理不可信数据时,也缺乏足够的校验和过滤机制,使得攻击者可以通过构造恶意数据来触发漏洞。

例如,在TensorFlow、PyTorch等国内外流行框架中,就存在因内存破坏导致的进程崩溃等问题。这些问题通常可以通过调用特定的接口函数,并传入特殊构造的数据参数来触发。然而,由于修复这些问题可能会严重影响训练效率,因此一些框架开发者并没有及时对这些问题进行修复。

更为严重的是,在分布式场景下,框架的安全问题更加突出。由于分布式系统通常包含大量的计算资源和存储资源,一旦被恶意控制,将带来巨大的安全风险。可惜的是,目前几乎所有的框架都没有良好的安全策略来实现分布式场景下的安全防护。一些框架在通信过程中没有对接收的数据进行严格校验,使得攻击者可以通过发送恶意构造的数据包来触发漏洞,进而控制整个集群。

针对这些问题,360建议框架开发者应加强对安全问题的重视,投入更多精力来解决因框架设计导致的安全敞口问题。同时,用户在使用这些框架时也应保持警惕,采取必要的安全措施来保护自己的系统免受攻击。

此次发现再次提醒我们,以大模型为重要支撑的AI生态虽然拥有巨大的发展潜力,但同时也面临着复杂而繁多的风险因素。为了确保整个系统的可信、可靠、可控,我们需要将更多的精力投入在AI的安全之上,不断发现和解决潜在的安全问题,为构建更加安全、健康的AI数字环境贡献力量。

相关推荐

VUE3前端开发入门系列教程二:使用iView框架辅助开发

1、安装iView新框架,支持VUE3npminstallview-ui-plus2、编辑src/main.js,添加以下内容,导入js和css到项目importViewUIPlusfrom...

万能前端框架uni app初探03:底部导航开发

前言本节我们使用uniapp的底部导航功能,点击不同tab会显示不同页面,这个功能在实际项目开发中几乎是必备的。一、基础知识1.tabBar如果应用是一个多tab应用,可以通过tabBar配...

Rust Web 开发框架,前端你可以选择哪个?

Rust构建一切。在如今流行的语言中,Rust可谓是将构建和高效作为自己优美的身姿在大众视野中脱颖而出。它是一门赋予每个人构建可靠且高效软件能力的语言。它有什么特性呢?高性能。Rust速度惊人且内...

连载:前端开发中纠结的Javascript框架(上)

如今,前端开发有着许许多多的框架和库。其中一些好用,一些却不尽人意。通常我们会习惯性运用某一概念,模块或句法。事实上,并没有什么万能工具。这篇文章是关于未来框架的发展趋势——那就是没有框架!我从以下几...

前端开发框架的演进架构:提升用户体验和开发效率

前端开发框架是现代Web应用开发的重要工具,它不仅可以帮助开发者构建复杂的用户界面,还能够提升用户体验和开发效率。随着Web技术的不断发展,前端开发框架也在不断演进,为开发者提供了更丰富、更高效的工具...

Google应用Mesh-TensorFlow框架,让CNN也能处理超高分辨率图像

为了要处理超高分辨率医疗图像数据,Google开发了一种空间数据分区(SpatialPartition)技术,在不牺牲图像分辨率的条件下,分析超高分辨率图像。Google使用Mesh-TensorF...

大模型安全挑战加剧:框架层漏洞成新靶心

近日,360数字安全集团发布了一份关于大模型安全漏洞的报告,揭示了当前大模型及围绕其构建的框架和应用中存在的严重安全问题。报告显示,360近期研究发现了近40个大模型相关的安全漏洞,其中既包括二进制内...

Keras 3.0正式发布:可用于TensorFlow、JAX和PyTorch

机器之心报道编辑:陈萍经过5个月的更新迭代,Keras3.0终于来了。「大新闻:我们刚刚发布了Keras3.0版本!」Keras之父FrancoisChollet在X上激动的...

TensorFlow和Keras入门必读教程(tensorflow与keras版本对应)

导读:本文对TensorFlow的框架和基本示例进行简要介绍。作者:本杰明·普朗什(BenjaminPlanche)艾略特·安德烈斯(EliotAndres)来源:华章科技01TensorFlo...

谷歌官方回应“TensorFlow遭弃”:还在投资开发,将与JAX并肩作战

鱼羊发自凹非寺量子位|公众号QbitAI终于,谷歌出面回应“TensorFlow遭弃”传闻:我们将继续致力于将TensorFlow打造为一流机器学习平台,与JAX并肩推动机器学习研究。这段时...

2025 年的PHP :现代 Web 开发的强大引擎

程序员还在吐槽PHP过时?2025年的PHP8.4直接封神了。看看最近更新的属性钩子、强类型系统,加上Laravel这些框架,老语言早就脱胎换骨。十年前说PHP弱类型容易崩代码的,现在脸疼不?联合类...

前端内卷终结者?htmx如何让开发者告别200行JS只做一个按钮

当你用React写一个点赞按钮需要引入3个状态管理库、编写80行JSX和120行钩子函数时,htmx只需要一行HTML:<buttonhx-post="/like"hx-sw...

NativePHP桌面版V1.0正式发布(元气桌面电脑版下载)

导读:各位小伙伴,使用PHP构建桌面级系统的利器,NativePHP来了。概述NativePHP是一个用于使用PHP构建桌面应用的框架。它允许PHP开发人员使用熟悉的工具和技术创建跨平台的原生应用...

PHP Laravel框架底层机制(php基本框架)

当然可以,Laravel是最受欢迎的PHP框架之一,以优雅的语法和丰富的生态而闻名。尽管开发体验非常“高端”,它的底层其实是由一系列结构清晰、职责分明的组件构成的。下面我从整体架构、核心流程、...

PHP框架之Laravel框架教程:2. 控制器、路由、视图简单介绍

2.控制器、路由、视图简单介绍我们先建立控制器,目录是:app/Http/Controllers,新建控制器Ding.php,代码如下:Ding.php:<?phpnamespaceA...

取消回复欢迎 发表评论: