一、AI大模型的攻击方式1.1、AI大模型攻防五类常见的攻击手法攻击打哪里手法 / 漏洞作用机制攻击 AI 输入扰动输入样本向原始样本中添加微小扰动误导模型输出攻击大模型提示越狱攻击通过特定提问技巧让大模型执行原本被禁止的任务攻击训练数据数据投毒攻击在训练集加入恶意样本影响模型的学习方向恶意交互教坏聊天机器人亦属此类攻击查询接口模型窃取攻击通过查询接口推断模型的结构和参数攻击训练过程后门攻击在训练过程中植入特定触发器使得某些输入触发特定输出四条防范提示与基本判断使用官方的软件版本及时更新并关注软件安全公告重视隐私权限管理不轻易开放核心权限定时关注官方漏洞数据库、平台以及其他漏洞信息获取渠道及时了解风险对 AI 模型进行安全加固如对抗训练、数据清洗等。基本判断AI 算法并不是绝对安全的只要是由代码构建的系统就可能存在漏洞这些漏洞就像护城河的缺口黑客可以通过它们潜入系统、操控 AI 的行为。1.2、常见的一些安全场景1、AI 算法在「推送服务」与「隐私保护」之间存在哪些冲突有哪些解决方法答冲突根源是个性化依赖尽可能多的行为数据而隐私保护要求尽可能少收集解法是最小必要用户可控可替代的技术方案。算法须分析搜索记录、浏览行为甚至语音助手信息才能了解偏好并针对性推送数据越多画像越准与最小化原则天然对立。这正是 AI 伦理的灰色地带法律要求权限最小化「必要」边界却因商业利益被模糊。便利是真实需求不能简单禁止需技术手段调和。落地建议产品侧提供关闭个性化推荐的一键开关关闭后基础功能不受限。技术侧优先本地化处理、联邦学习、差分隐私等不集中原始数据的方案。采集前明示用途与范围做到可查、可撤回、可删除。企业侧建立权限与数据用途审计把必要性论证写进需求评审。2、AI 算法的双刃剑特性未来可能带来哪些新伦理挑战技术与制度层面如何应对答最突出的是「合规但越界」在授权范围内做到用户无法理解的深度画像与行为引导责任主体却模糊不清。权限最小化原则存在但「必要」边界因商业利益被模糊化规则跟不上算法能力。五类攻击手法覆盖数据、模型、接口与训练全链条任一环失守都可能外溢到公共空间。社会工程学漏洞利用心理弱点技术加固无法单独解决。落地建议技术层做对抗训练、数据清洗等安全加固上线前细致检查漏洞实时学习类系统强制加内容过滤与学习开关。情报层定时关注官方漏洞库、厂商报告、开源社区与安全论坛。制度层明确责任主体、备案要求与「必要权限」判定程序。治理层建立滥用举报与快速下线机制。二、数据质量与数据投毒风险2.1、数据质量与数据投毒泛化[训练集和新数据两份效果都好]。模型在未见过的新数据上的表现能力。具备良好泛化能力的模型不仅能准确学习训练数据中的内在规律还能把所学知识有效应用于新的、未知的数据样本。例如动物分类模型既能判断训练数据中的动物种类也能对新的动物图片准确分类。过拟合[训练集好新数据差]。训练集上的表现与陌生数据上的表现严重脱节前者亮眼、后者崩坏。根源在于模型把训练数据里夹杂的无用规律例如噪声也当成了知识反而漏掉了更具代表性、更普适的规律遇到新数据自然无所适从。欠拟合[训练集和新数据两份效果都差]。模型过于简单无法捕捉数据中的基本规律导致在训练数据和未知的新数据上都表现很差。它与过拟合构成一对相反的失效形态一个学得太死只认训练集一个学得太浅连训练集都学不好。形态表现特征成因与对策方向过拟合训练集亮眼、新数据崩坏两者严重脱节把噪声等无用规律当知识提升数据代表性与多样性正常拟合泛化训练数据与新数据表现一致且良好学到内在规律与普适规律保持数据干净、均衡、有代表性欠拟合训练数据与新数据都表现很差模型过于简单无法捕捉基本规律调整模型与数据匹配度数据质量评估指标与国际标准依据国际标准 ISO/IEC 5259-2:2024《人工智能 - 分析与机器学习ML的数据质量 - 第 2 部分数据质量度量》系统规定了评估数据质量的多项指标其中最常用的六项是准确性、完整性、一致性、及时性、均衡性与代表性。使用原则并非每个数据集都要用全部指标评估关键要看具体的应用场景和模型用途有时需要重点评估准确性有时必须考虑及时性和代表性。准确性数据是否真实、无误地反映客观实体。完整性数据是否包含所有必要的关键信息。一致性同一实体或特征在不同系统或数据源中是否保持一致。及时性数据是否具有时效性。均衡性不同类别或不同区域的数据是否分布均匀。代表性数据是否全面覆盖目标任务中各种可能的特征分布。数据层面的补救手段数据增强、过采样、欠采数据增强以既有数据为原料用变换、扰动、合成等手段再造出更多数据借此强化模型的泛化能力图像、语音、文本领域都常使用图像上的典型做法包括水平翻转、旋转与添加噪声。过采样面向类别不平衡问题的对策即给少数类别补充更多样本简单做法是直接复制既有样本进阶做法是合成新样本代表性算法是 SMOTE合成少数类过采样技术思路是在少数类样本之间做插值造出介于两者之间的新样本。欠采样通过减少多数类别的样本数量达到数据平衡的目的。重要限定可以用 SMOTE 增加少数类样本或通过图像旋转、裁剪扩充样本数量。数据投毒从质量问题升级为安全问题指攻击者往训练数据里掺入少量恶意样本打乱模型的正常学习过程令其在特定情境下输出错误结果。恶意数据的形态可能是错误标注的、伪造的甚至是按特定策略故意改变分布的目的是让模型在实际应用中出错甚至引发误导性预测。危害示例只要往医疗模型的训练集里掺进少量恶意样本就可能让它在特定情形下给出对患者有害的医疗建议。防范要点在关注数据准确性、完整性的同时还得防范潜在的恶意数据使用公开数据集尤其是从网络爬取的数据时一定要保持高度警惕。数据投毒和普通的数据质量差有何本质区别质量差是「不小心」投毒是「故意的」攻击者往训练数据里掺少量恶意样本按特定策略改变标注、伪造内容或扭曲分布让模型在特定情境下输出错误结果。它不只是数据质量问题更是安全性问题。2.2、常见的一些安全场景1、数据增强如旋转、翻转图片是否总能提升性能什么情况下反而下降答不是。只在「变换后仍属真实分布且不破坏标签语义」时有效越界就会拉低性能。数据增强是通过变换、扰动或合成生成更多数据以增强泛化能力如原始图像、水平翻转、旋转、添加噪声四种处理。变换一旦超出真实世界可能出现的形态等于喂入新的分布偏移。方向本身可携带语义文字数字翻转后不再是原字符医学影像左右镜像可能对应不同器官位置。噪声与亮度对比度调整过强会掩盖关键细节损伤完整性SMOTE、旋转裁剪等手段治标不治本。落地建议按模态制定允许变换清单与参数上限语义敏感任务禁用镜像和大角度旋转。消融实验逐种变换记录验证集指标只保留有正收益的。保留干净验证集增强后正常样本准确率下降即回调强度。优先定向补采真实少数类样本增强只作辅助。