本议题将分享一种基于LLM Agent的App漏洞挖掘。通过引入MCP方式,结合精细化的Prompt工程与工作流编排,将复杂的挖洞过程拆解为可控的原子任务。将展示如何使用LLM强大的代码审计能力,实现对App隐蔽漏洞的高效、精准捕获。
在从事了一段时间对AI框架组件的安全审计研究后,也挖掘到了很多相似的注入漏洞,对于目前的AI框架组件(PandasAI,LlamaIndx,Langchain...)对于该类型漏洞的通病结合实战实例以及学术界的研究做了系统性的归纳,站在AI框架的顶层角度对该类AI框架组件中的注入漏洞进行研究分析,供师傅们交流指点...
最近在研究LLM集成应用框架时,在审计某BAT大厂的github18k大型开源LLM集成应用框架项目时发现了一处隐蔽的加载漏洞,虽然开发者打过了防御补丁,但仍然可进行绕过并已提交CVE。遂深入进行了该类型的漏洞在LLM集成应用框架中的探究,供师傅们交流指点...
对protswigger的第三个大模型prompt注入靶场进行实战记录
PHP在Web应用中的普遍漏洞以及开发者、安全公司和白帽黑客为解决这些问题所做的努力。传统的静态、流和污点分析方法在性能上存在局限性,数据挖掘方法常受到误报/漏报的困扰,而近期基于深度学习的模型(主要是基于LSTM)并不天生适合程序语义等图结构数据。DeepTective是一种基于深度学习的PHP源代码漏洞检测方法,其核心创新在于采用混合架构,结合门控循环单元(GRU)处理代码令牌的线性序列(语法信息),以及图卷积网络(GCN)处理控制流图(CFG)(语义和上下文信息)
LLM赋能安全领域前沿研究“甚少”,在研究该领域的前沿论文科研时发现了一个很开创性的漏洞检测框架,本文的核心目标是设计一个针对PHP漏洞检测的LLM框架RealVul,以弥补现有研究的不足。具体而言,关注如何从真实项目中定位漏洞触发点并提取有效样本、如何通过代码预处理突出漏洞特征、以及如何利用半合成数据扩充稀缺样本
在大模型和智能应用快速发展的今天,Model Context Protocol(MCP)逐渐成为连接模型与外部服务的重要标准。它让开发者可以更方便地调用第三方 API,为模型提供更多上下文能力。但与此同时,安...
数据投毒是针对模型训练阶段的攻击,通过向训练数据注入有害样本或篡改样本标签/特征,改变模型学习到的映射,从而在部署后降低模型性能或触发预设行为
AI对齐旨在确保AI系统,其能力与行为同人类的价值观,意图及伦理规范保持一致 本文将系统性梳理AI对齐的基础原则,剖析理论与算法的挑战 1.模型固有的逆向对齐趋势 2.人类偏好非传递性导致的收敛困境 3.安全保障的系统性复杂性
在人工智能(AI)的浪潮中,Retrieval-Augmented Generation(RAG,检索增强生成)无疑是一颗耀眼的新星。它让AI系统不再局限于训练时的“旧知识”,而是能从海量外部数据中实时检索相关信息,生...
理解大模型安全的全景视图 要真正掌握大模型安全,我们首先需要建立一个全景式的认知框架就像建筑师在设计摩天大楼时必须考虑地基、结构、电梯系统和消防安全一样,大模型的安全也需要从生命周...
LLM安全基础 在深入探讨大语言模型(LLM)的安全风险与防护策略之前,建立一个清晰、坚实的基础认知至关重要。这不仅是为了确保后续讨论的有效性,更是因为对核心术语、基本原则及其内在逻辑的...
LLM概述与全景 1 什么是 LLM? LLM是基于深度神经网络架构的预测模型。在通过在海量的语料库上进行大规模训练,学习并内化语言的统计规律,语义关联及上下文依赖, 训练目标通常是预测序列中的下...
模型上下文协议(Model Context Protocol, MCP)是一种用于在分布式系统中管理和共享模型上下文的协议,广泛应用于机器学习、区块链和物联网等领域。然而,随着MCP的广泛应用,其安全性问题也日益凸显。
AI Red Teaming是模拟针对AI系统的对抗性攻击的实践,旨在恶意行为者之前主动识别漏洞,潜在的误用场景和故障模式。
在刚刚过去的RSA大会上,AI安全领域迎来了井喷式的发展。从SIEM(安全信息与事件管理)、SOAR(安全编排自动化与响应)、ITDR(身份威胁检测与响应)到DSPM(数据安全态势管理)、红队测试和防...
之前很多研究工作已经表明,大语言模型(LLMs)的一个显著特点是它们能够通过激活中的丰富表示来处理高级概念。这一特性也使得在去年NeurIPS(人工智能顶会)上出现了很多与激活引导(activation steering)等技术的有关的工作
扩散模型的背后一个很核心的风险就是未授权数据集使用的问题。当然,这种侵权分为两种,一种是使用文生图模型得到的图像,其版权归属问题,比如之前的新闻提到,北京互联网法院全国首例“AI文生图”著作权侵权案获最高法院“两会”工作报告关注
上篇文章中我们已经基本了解了微调一个基座大模型的流程,本文我们将集中于微调出一个实际的安全大模型。 因此首先有必要必要了解微调出一个安全大模型存在的难点
最近的文生图模型因为卓越的图像质量和看似无限的生成能力而受到关注。最近出圈,可能是因为openai的模型可以将大家的图像转变为吉卜力风格。