AI教程
最新文章
面向黑盒大语言模型智能体的自动化红队测试框架AGENTVIGIL，借鉴模糊测试思想，通过蒙特卡洛树搜索种子选择、语义变异和覆盖引导评分，在AgentDojo和VWA-adv基准上对o3-mini和GPT-4o智能体分别实现71%和70%攻击成功率，接近手工基线两倍，并具备跨模型迁移与防御绕过能力。
AI风控系统面临新型攻击：攻击者无需欺骗模型，只需使审核闭环失效。传统安全基础不可替代，而AI原生安全攻击（如越狱、提示注入）比单纯压垮算力更危险，模型在对抗条件下的可信度成为关键。
针对大型推理模型（LRMs）的越狱攻击，Mousetrap方法利用迭代混沌链将有害问题转换为复杂密文，通过反派角色提示诱导模型陷入推理惯性，忽略安全审查。在o1-mini、Claude-Sonnet等模型上攻击成功率高达86%-98%，揭示了推理能力增强带来的严重安全漏洞。
针对多智能体大语言模型，提出优化提示攻击方法，利用最小费用最大流优化路径与排列不变规避损失，在令牌带宽限制与异步消息下分片传播对抗提示。实验表明主流模型攻击成功率最高达94%，安全机制F1分数下降近30%，揭示多智能体场景防御体系严重不足。
VisCRA是一种针对多模态大语言模型的视觉链推理攻击框架，通过注意力引导遮罩与多阶段推理诱导操控视觉推理过程，在不触发安全机制下引导模型生成有害输出。在GPT-4o等11个模型上最高攻击成功率达84 62%，揭示推理增强与安全对齐存在根本性冲突。
布兰矩阵团队发现AbyssalSoulHeist安全漏洞，利用会话隔离缺陷实现零点击跨会话数据窃取。OpenAI承认研究价值，但按现行赏金政策将模型层问题排除在外。团队呼吁建立模型与系统联动风险的激励机制及跨界协作治理体系。
研究发现，视觉语言模型驱动的计算机智能体易受弹窗攻击。佐治亚理工学院等团队提出对抗性弹窗方法，无需梯度优化即可诱导智能体点击。在OSWorld和VisualWebArena测试中，GPT-4o等模型攻击成功率高达86%，任务成功率暴跌47%，揭示智能体缺乏辨别视觉噪声与恶意意图的能力。
HolmesGPT是Robusta开源的CNCFSREAgent，专注生产事故根因分析。架构分五层，核心是AgenticLoop实现自动调查。YAMLToolset声明式扩展工具，Skills系统将SOP转为LLM可读技能，语义匹配触发诊断流程。实战演示多轮深度排查，降低无效调用，输出标准化报告。
GPT-5系列模型发布，安全性能实现跨代升级，但在高级测试中仍可被攻破，对抗样本下存在脆弱性。同期推出全球首个AI算法漏洞负责任协同披露机制（RCD-AI）制度草案，旨在规范漏洞报告与修复流程。
基于轻量RAG的DocMind智能问答助手，通过离线建库与在线问答架构，实现文档中心的高效检索。系统采用固定窗口切片、BGE-M3多语言向量检索及相关度阈值闸门防幻觉，配合精确缓存与模拟流式输出，在轻量部署（无外部中间件）前提下，支持跨语言问答与来源溯源，降低Token成本与响应延迟。
AIOps从算法IT运维演进为AI运维，与DevOps互补。通过观察、互动、行动三环节，用于主动监控、自动修复、根因分析、告警排序、安全运维及性能优化。经告警降噪、异常检测、预测管理与自动修复，缓解SRE压力，实现被动转主动预防。信通院已建标准。
智能体多轮意图识别需区分会话级与轮次级，首轮完整识别后续轻量跟踪；路由决策由规则、置信度阈值、小模型梯度覆盖。人工交互应建模为有限状态机，采用结构化事件持久化状态，区分审批型与认知型确认，实现断点恢复。
通过对比提示词工程与上下文工程，指出上下文会随长度增加而“腐烂”，影响模型召回率。构建高质量上下文需注重高信号提示词、精简工具集、典型示例及动态检索。长程任务可通过压缩、结构化笔记和子智能体架构缓解上下文压力。
美国《人工智能行动计划》将算法安全与国家安全深度绑定，聚焦越狱攻击、指令污染与Agent控制等结构性风险，强调可解释性、可控性与鲁棒性，推动算法安全成为全球技术主权竞争的核心支点。
AgentSkills是Anthropic提出的可复用知识资产，通过三层渐进加载机制提升专业化与效率。主流平台采用统一SKILL md格式，目录各异。资源渠道包括官方仓库、MCPMarket与SkillsMP。使用需遵循原子化设计、持续迭代、以Agent视角执行等原则。