单像素威胁：微小的变化如何欺骗深度学习系统

Andrew 更新时间 2025年1月7日

快连VPN:速度和安全性最佳的VPN服务

免费试用了解更多

人工智能（ai）的深度学习模型易受单像素攻击的影响，即使只修改图像中的一个像素，攻击者也能欺骗这些模型，从而危及医疗诊断、自动驾驶等关键领域的安全和准确性。这种攻击利用了深度神经网络的漏洞，该漏洞会对微小扰动敏感，导致错误分类。应对措施包括块选择降噪器和多初始化卷积神经网络，旨在增强模型的鲁棒性并抵御此类攻击。然而，由于攻击者不断进化其技术，因此需要持续的研究和开发来确保人工智能的未来。

人工智能漏洞：从医疗诊断到自动驾驶汽车，了解改变单个像素如何危及先进的深度学习模型，并探索确保我们人工智能未来的关键挑战。

介绍

深度学习 (DL)是人工智能 (AI) 的一个基本组成部分。它旨在使机器能够执行需要决策机制的任务，而这些决策机制往往接近人类的推理能力。DL 模型是许多高级应用的核心，例如医疗诊断和自动驾驶汽车。

不幸的是，与所有其他系统一样，它们也无法避免被网络犯罪分子利用的漏洞。例如，单像素攻击是破坏模型准确性的最有效方法之一，正如其名称所示，它只修改图像的一个像素。

本文介绍了单像素攻击的工作原理及其在许多领域可能产生的影响。本文还讨论了防范此类攻击的策略，以提高人工智能系统的可靠性和安全性。

概述

深度学习简介

深度学习是人工智能的一个分支，涉及训练神经网络来识别数据中的模式。这些神经网络模仿人类大脑的结构和功能，使它们能够从大量数据中学习并产生预测或做出决策。例如，深度学习模型可以识别图像中的物体、理解口语（自然语言处理/ NLP），甚至可以根据医学图像诊断疾病。

为了充分理解深度学习技术的重要性，以下是其实际应用的几个例子：

1. 健康：医学成像

深度学习模型广泛应用于处理和理解医学影像。例如，卷积神经网络 (CNN)正应用于乳房 X 光检查分析。该技术可高度准确地识别恶性肿瘤。

它可以通过为放射科医生提供第二意见来帮助降低人为错误的风险。

2.自动驾驶

自动驾驶汽车依靠深度学习算法实时处理来自传感器和摄像头的数据。这些模型用于物体检测、车道识别和决策。例如，特斯拉的自动驾驶仪使用深度学习来处理数据并对车辆环境做出反应，确保安全导航和驾驶。

3.自然语言处理

深度学习是自然语言处理 (NLP) 的重要组成部分。在生成式人工智能 (GenAI) 出现之前，深度学习推动了对话技术的发展，例如聊天机器人和虚拟助手（例如 Google Assistant 和 Amazon Alexa）。这些系统使用深度学习来理解和处理人类语言，以便它们能够回答查询、执行任务，甚至与用户进行对话。

还有许多其他例子。在金融领域，深度学习模型被用于通过分析交易模式和识别表明欺诈的异常来检测欺诈活动。在零售业，亚马逊或 Netflix 等平台正在使用深度学习提供个性化推荐。这些系统分析用户行为、偏好和购买历史，以改善用户体验，另一方面增加销售额。

所有这些都说明了深度学习在各个领域的影响力，以及该技术能够提高复杂任务的效率和准确性的领域。攻击深度学习的动机是什么？

正如我们刚刚看到的，深度学习模型是广泛应用的强大工具。然而，它们很容易受到攻击。网络犯罪分子可以针对这些模型，使它们做出错误的决定，这可能会造成严重后果。例如，通过操纵自动驾驶汽车的神经网络，攻击者可能会导致汽车误解信号并危及车内人员。

单像素攻击概述

单像素攻击通过改变输入图像的单个像素来针对深度学习模型，导致模型对图像进行错误分类。此攻击使用差分进化算法来识别要修改的最佳像素。即使不知道模型的内部参数，这种方法也是有效的。

传播图显示了单个像素的修改如何影响深度神经网络。这些图显示了变化如何在网络的各个层中传播，以及微小的局部变化如何影响最终决策。

这就是为什么单像素攻击在许多领域都存在严重风险。在医学成像领域，它们可能导致误诊。在网络安全领域，它们可以欺骗面部识别系统。

单像素攻击的机制

正如我们现在所理解的，单像素攻击是一种对抗性攻击，它通过修改输入图像的单个像素来利用深度神经网络的漏洞，从而导致错误分类。

矛盾攻击

对抗性攻击涉及对输入数据进行细微的、有意的更改，以诱使机器学习模型做出错误的预测或决策。除了图像之外，这种攻击还可以通过多种不同的方式发生。

例如，在文本数据中，攻击者可以更改单词或字符以欺骗语言模型。在音频数据中，他们可以添加细微噪音来欺骗语音识别系统。在网络安全中，对抗性攻击可能涉及略微修改恶意软件的代码以绕过防病毒软件。

同样，在金融系统中，攻击者可以操纵市场数据来欺骗交易算法进行错误交易。

单像素攻击

单像素攻击利用了深度神经网络的复杂决策过程。它们使用差分进化算法来识别像素的最佳修改，从而最大化误分类概率。差分进化算法迭代搜索可能的像素修改空间。它使用一组随时间演变的候选解决方案。

一像素攻击的成功归功于深度神经网络 (DNN) 对微小扰动的敏感性。DNN 很容易被人类不会注意到的微小变化所欺骗。差分进化算法的工作原理是生成一组潜在解决方案，然后组合和修改这些解决方案以找到最佳候选方案。每个候选解决方案代表一个潜在的像素变化，算法会评估每个变化对网络分类结果的影响。通过不断细化解决方案群体，算法最终会收敛到导致所需错误分类的像素变化。

怎么运行的

执行单像素攻击通常涉及使用差分进化算法，这是一种基于给定质量指标迭代改进候选解决方案的优化方法。以下是该过程的详细描述：

1.初始化

该算法首先生成一组候选解决方案。在单像素攻击的情况下，每个候选方案都代表对图像中单个像素的潜在修改。这些候选方案通常在图像尺寸和颜色值的限制范围内随机初始化。

2. 变异和交叉

对于每个候选解决方案，算法都会执行变异和交叉操作来创建新的候选方案。变异包括从群体中选择三个不同的候选方案，并通过将其中两个候选方案之间的加权差添加到第三个候选方案来创建新的候选方案。然后，交叉将这个变异候选方案与原始候选方案结合起来，产生一个试验候选方案。这种方法在候选群体中产生了多样性，并使算法能够更有效地探索解决方案空间。

3. 选择

根据试验候选对神经网络分类结果的影响对试验候选进行评估。如果试验候选导致模型比原始候选更有效地对图像进行错误分类（或增加目标错误分类的概率），则它将在种群中取代后者。该选择过程由适应度函数指导，在这种情况下，该函数测量错误分类的概率。

4.迭代

变异、交叉和选择步骤会在多次迭代中重复进行。每次迭代后，种群都会不断演变，候选者在造成误分类方面变得越来越有效。这个过程会一直持续，直到算法识别出导致所需误分类的变化，并且具有很高的置信度。

5. 结果

最终的结果是修改后的图像，其中改变了一个像素，成功欺骗神经网络做出错误的预测。

可视化与分析

传播图提供了一种新方法来直观地展示单个像素变化如何影响深度神经网络。这些图跟踪像素扰动在网络各层传播时的影响，从局部变化转变为全局变化。这种转变有助于我们了解单像素攻击的威力。

当我们检查传播图时，我们可以看到单个像素变化的影响如何随着它在网络中传播而增加。最初，干扰可能看起来微不足道，但随着它在网络层中传播，它会导致网络输出发生实际变化。

局部性分析可以更好地理解像素级攻击。该分析包括测试与被破坏像素相邻的像素的脆弱性。结果表明，相邻像素通常具有相似的脆弱性，这表明攻击的有效性不仅限于单个点，而是可以影响更广泛的区域。通过这种方式，攻击利用了卷积层的感受野。这些层中的每个神经元都会对输入图像的特定区域做出反应，并且该区域的变化会显著影响神经元的输出。因此，攻击的成功与这些感受野的结构和功能有关，而不是与单个神经元或像素有关。

变化

有几种变体可以改进单像素攻击。

这些优化之一涉及在 DNN 网络形成阶段加入后门。这种方法会产生可在以后利用的漏洞，使网络更容易受到单像素攻击。

另一种变体是使用关键像素迭代 (CriPI) 算法，该算法可识别并定位最有可能影响网络性能的像素。这些算法使用许多不同的技术（包括基于梯度的方法和启发式搜索策略）来识别最重要的像素。

可视化技术，例如逆境图和激活图，在优化单像素攻击中也发挥着至关重要的作用。

逆境图突出显示了图像中对干扰最敏感的区域，鼓励攻击者将精力集中在这些区域。激活图显示图像的不同部分如何激活网络中的神经元，揭示哪些像素具有最大的影响力。

通过这些可视化工具与优化算法相结合，攻击者可以设计更有效的破坏，从而增加攻击成功的机会。

各领域应用

单像素攻击已被证明在许多领域有效，能够利用关键系统中的漏洞。

在网络安全领域，单像素攻击对面部识别系统构成了特别的威胁。

人脸识别

通过修改单个像素，攻击者可以导致这些系统错误识别个人，从而危及安全。