RSS订阅 立即发帖
筛选:  最新的 推荐的 热门的

以小白视角看大模型数据投毒——关于大模型数据投毒的学习心得与技巧分享

最近看到了一个有关大模型数据投毒的视频，分析了一下相关方法与技术，以一个小白的视角来分享一下学习到的心得与技巧。

  • 7
  • 8
  • 子墨
  • 发布于 2026-01-09 09:00:02
  • 阅读 ( 14714 )

提示词注入实战—通过在线靶场看提示词注入手法

本文通过一个在线靶场，希望帮助大家更好的理解提示词注入的相关手法。这个靶场拿来练习也是很不错的，尤其是现在的AI靶场很少，像经常使用的那些又修复的很快。

大模型投毒-训练、微调、供应链与RAG解析

人工智能系统的安全范式正从外部防御转向保障其内在的认知完整性。攻击通过污染训练数据、在微调阶段植入后门、利用供应链漏洞以及在推理时注入恶意上下文，旨在从根本上破坏模型的可靠性与安全性

  • 1
  • 1
  • 洺熙
  • 发布于 2025-09-04 09:00:02
  • 阅读 ( 9301 )

大模型安全之数据投毒

数据投毒是针对模型训练阶段的攻击，通过向训练数据注入有害样本或篡改样本标签/特征，改变模型学习到的映射，从而在部署后降低模型性能或触发预设行为

  • 0
  • 0
  • 洺熙
  • 发布于 2025-08-21 10:02:08
  • 阅读 ( 8568 )

揭秘AI自动化渗透背后的迷雾

今年是Agent的主旋律，随着近期Blackhat DEFCON 以及各大赛事 会议的开展，AI与安全的话题不断碰撞，在这其中，AI自动化漏洞挖掘/渗透？AI是否能代替人类安全工作人员？或安全怎么才能不被AI代替? 一直是热门的话题 本文将以AI赋能安全方面，至少在明面上来说，目前产品工程与经营都比较完善的XBOW来进行分析 一同观看目前AI for安全的前沿在那一步？

  • 4
  • 1
  • 洺熙
  • 发布于 2025-10-22 09:46:28
  • 阅读 ( 8144 )

从Prompt注入到Agent命令执行的LLM越狱技术剖析

本文立足于大模型红队攻防实战，剖析越狱攻击的技术本质——即利用模型对齐缺陷触发非预期行为。内容涵盖结构化角色嵌套（JSON）、伪代码封装（DSPy）等具体 POC 案例，并对多语言、语义反转、格式注入等攻击手法进行了分类解析。文章进一步指出，随着模型具备 API 调用与智能体能力，越狱危害已突破内容安全层面，演变为可直接操作系统的应用安全风险。通过对比纯文本交互、插件调用与智能体驱动三种数据流，本文揭示了从“生成有害文本”到“执行恶意代码”的攻击面升级，为构建纵深防御体系提供技术参考

  • 11
  • 7
  • 洺熙
  • 发布于 2026-01-28 09:00:02
  • 阅读 ( 6702 )

MCP安全协议：从攻击手法到最佳实践，全景解析

在大模型和智能应用快速发展的今天，Model Context Protocol（MCP）逐渐成为连接模型与外部服务的重要标准。它让开发者可以更方便地调用第三方 API，为模型提供更多上下文能力。但与此同时，安...

  • 1
  • 0
  • Halo咯咯
  • 发布于 2025-10-11 09:57:18
  • 阅读 ( 6511 )

重塑传统自动化漏洞挖掘的Multi-Agent框架攻防一体化实践

前段时间在某大厂做安全研究时，针对SDLC的重复性审计工作结合大模型Agent思索了一些可行的思路，便在不断摸索中构建了一个Multi-Agent的协同漏洞挖掘框架系统，目前个人使用来看对于开源的web应用的实战效果相比传统的SAST、DAST以及纯LLM的漏洞挖掘工具来说还是很不错的，便记录此篇框架实现思路和当今Agent赋能漏挖的可行性与优势供师傅们交流指点....

  • 3
  • 3
  • Bear001
  • 发布于 2026-01-19 10:00:01
  • 阅读 ( 6390 )

【补天白帽黑客城市沙龙-杭州站】如何训练AI帮我调漏洞

本议题将探讨如何结合大模型与MCP技术，实现对程序的静态分析、动态调试。基于这些技术，可以让AI参与漏洞研究,提升漏洞挖掘效率,并配合实际案例，展示AI在漏洞方面的工作能力。

黑灰产从绕过到自建“无约束”的AI模型过程

市面上主流的大模型服务，都已经建立一套相对成熟的安全架构,这套架构通常可以概括为三层过滤防御体系 1. 输入检测：在用户请求进入模型之前，通过黑白词库、正则表达式和语义分析，拦截掉那些意图明显的恶意问题。 2. 内生安全：模型本身经过安全对齐，通过指令微调和人类反馈强化学习（RLHF），让模型从价值观层面理解并拒绝执行有害指令。 3. 输出检测：在模型生成响应后，再次进行扫描，确保内容合规。。但攻击者依然在生成恶意内容、钓鱼邮件，甚至大规模恶意软件。

  • 3
  • 1
  • 洺熙
  • 发布于 2025-11-28 09:00:02
  • 阅读 ( 6317 )

通过微调与拒绝向量消融实现大模型越狱的实践

AI突破限制的多种手段 前言：目前看到过很多越狱AI的手法，绝大多数都是使用提示词注入来对互联网上现有AI进行越狱，本文章中介绍另外两个方法进行越狱。

  • 8
  • 7
  • 画老师
  • 发布于 2025-12-09 09:00:01
  • 阅读 ( 6134 )

【补天白帽黑客城市沙龙-杭州站】让安全大模型不做花瓶

本议题聚焦于面向复杂场景的模型训练与架构设计，提出多种解决方案提升模型在网络安全场景下的理解与推理能力。在此方案下的实验中，体现了自动渗透、自动修复、自动信息收集、自动打靶、参与CTF竞赛等通用能力,初步具备无需人工干预的通用执行能力。

RealVul: 基于大语言模型训练微调的PHP漏洞检测框架深度解析

LLM赋能安全领域前沿研究“甚少”，在研究该领域的前沿论文科研时发现了一个很开创性的漏洞检测框架，本文的核心目标是设计一个针对PHP漏洞检测的LLM框架RealVul，以弥补现有研究的不足。具体而言，关注如何从真实项目中定位漏洞触发点并提取有效样本、如何通过代码预处理突出漏洞特征、以及如何利用半合成数据扩充稀缺样本

  • 3
  • 1
  • Bear001
  • 发布于 2025-10-16 09:00:01
  • 阅读 ( 5840 )

从某BAT大厂开源框架实战审计揭秘 LLM 集成框架中的隐蔽加载漏洞

最近在研究LLM集成应用框架时，在审计某BAT大厂的github18k大型开源LLM集成应用框架项目时发现了一处隐蔽的加载漏洞，虽然开发者打过了防御补丁，但仍然可进行绕过并已提交CVE。遂深入进行了该类型的漏洞在LLM集成应用框架中的探究，供师傅们交流指点...

  • 1
  • 0
  • Bear001
  • 发布于 2026-01-08 09:00:02
  • 阅读 ( 5322 )

学习一个价值4.7w刀的提示词注入思路

去年的时候，外网上出现了一个名为Freysa AI。它旨在通过举办大模型安全赏金竞赛游戏，来吸引全球爱好者一起探索：人类的智慧能否找到一种方法说服AGI违背其核心指令？这里对解题思路进行一波学习

一文了解图像的隐形噪声如何欺骗 AI

对抗图像是一种精心设计的输入数据，通过对原始图像进行细微修改，使机器学习模型（尤其是深度神经网络）产生错误的分类输出。

  • 2
  • 2
  • Wh1tecell
  • 发布于 2025-10-24 09:00:02
  • 阅读 ( 4789 )

深度实例分析：攻防视角下的AI框架组件中的注入漏洞

在从事了一段时间对AI框架组件的安全审计研究后，也挖掘到了很多相似的注入漏洞，对于目前的AI框架组件（PandasAI，LlamaIndx，Langchain...）对于该类型漏洞的通病结合实战实例以及学术界的研究做了系统性的归纳，站在AI框架的顶层角度对该类AI框架组件中的注入漏洞进行研究分析，供师傅们交流指点...

  • 1
  • 0
  • Bear001
  • 发布于 2026-01-14 09:47:32
  • 阅读 ( 4774 )

基于“灰盒”蒸馏的大语言模型攻击研究

探讨一种结合模型窃取与拒绝服务攻击的组合路径，希望发现AI安全领域新型攻击思路。

  • 1
  • 3
  • 画老师
  • 发布于 2026-01-12 10:03:41
  • 阅读 ( 4758 )

KV-Cache：大语言模型推理加速的双刃剑—隐私风险与防御实战

在2025年，大语言模型（LLM）推理服务已全面进入多租户时代，KV Cache作为核心加速技术，让Prefill阶段并行计算、Decode阶段复用历史键值，带来5–8倍的吞吐提升。然而，这把“双刃剑”也暴露了严重的安全隐患：共享缓存下的时序侧信道可直接泄露用户Prompt；更隐蔽的History Swapping能悄无声息劫持输出话题；腐败攻击则通过扰动Key向量引发幻觉与性能崩坏。

  • 0
  • 0
  • Wh1tecell
  • 发布于 2026-01-20 09:00:02
  • 阅读 ( 4631 )

还能这样对大模型输入投毒

对protswigger的第三个大模型prompt注入靶场进行实战记录