[發(fā)明專(zhuān)利]訪問(wèn)受限的系統(tǒng)的對(duì)抗魯棒性的測(cè)試

在審

• 申請(qǐng)?zhí)枺?/td>: 202010055649.9
• 申請(qǐng)日: 2020-01-17
• 公開(kāi)（公告）號(hào): CN111476264A
• 公開(kāi)（公告）日: 2020-07-31
• 發(fā)明（設(shè)計(jì)）人: 陳品諭;劉思佳;吳凌飛;陳家佑
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)際商業(yè)機(jī)器公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N20/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 酆迅

本公開(kāi)的實(shí)施例涉及訪問(wèn)受限的系統(tǒng)的對(duì)抗魯棒性的測(cè)試。對(duì)抗魯棒性測(cè)試方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品包括經(jīng)由加速器測(cè)試黑箱系統(tǒng)在不同訪問(wèn)設(shè)置下的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明總體上涉及對(duì)抗魯棒性測(cè)試方法，并且更具體地但非限制性地涉及針對(duì)加速模塊(即，加速器)的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品，加速模塊在不同訪問(wèn)設(shè)置下可靠地加速黑箱人工智能(AI)和機(jī)器學(xué)習(xí)(ML)模型的魯棒性測(cè)試。

背景技術(shù)

對(duì)機(jī)器學(xué)習(xí)(ML)系統(tǒng)的黑箱攻擊是對(duì)于對(duì)抗示例和生成這些對(duì)抗示例的算法的研究，該算法包括如何分析最先進(jìn)的ML系統(tǒng)在極端情況下(例如，當(dāng)可信圖像被難以察覺(jué)的噪聲故意破壞，從而欺騙訓(xùn)練有素的圖像分類(lèi)器進(jìn)行錯(cuò)誤分類(lèi)時(shí))的行為。這是當(dāng)前AI領(lǐng)域最突出的主題之一，并且有可能幫助塑造不僅在一般情況下表現(xiàn)出色、并且在最壞情況或不利情況下也表現(xiàn)出色的高級(jí)AI平臺(tái)的未來(lái)。

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)(DNN)在許多機(jī)器學(xué)習(xí)任務(wù)(例如，自然語(yǔ)言處理(NLP)、計(jì)算機(jī)視覺(jué)、語(yǔ)音處理等)中取得了重大突破。然而，盡管取得了成功，但是最近很多研究表明，即使最先進(jìn)的DNN仍然容易受到對(duì)抗錯(cuò)誤分類(lèi)攻擊的攻擊。這引起了對(duì)DNN在極端情況下的魯棒性的安全性擔(dān)憂，這在需要高可靠度和相依性的許多應(yīng)用領(lǐng)域(例如，面部識(shí)別、自動(dòng)駕駛交通工具和惡意軟件檢測(cè))中非常重要。對(duì)于對(duì)抗示例和生成對(duì)抗示例的可能攻擊的調(diào)查已經(jīng)成為AI安全性和安全中越來(lái)越普遍的話題，其目的是分析現(xiàn)代ML系統(tǒng)(例如，DNN)在極端情況下如何受到破壞。這種分析將揭示要采用的潛在防御措施，這實(shí)際上為構(gòu)建將成為未來(lái)AI技術(shù)的核心引擎的新一代高度魯棒和可靠的ML模型奠定了基礎(chǔ)。

但是，關(guān)于該主題的大多數(shù)初步研究仍限于白箱設(shè)置，在白箱設(shè)置中，攻擊者具有對(duì)目標(biāo)系統(tǒng)(例如，DNN)和操作機(jī)制的完全訪問(wèn)和了解。例如，假設(shè)知道DNN模型的內(nèi)部結(jié)構(gòu)和參數(shù)，則攻擊者可以計(jì)算輸出相對(duì)于輸入的梯度，以標(biāo)識(shí)某些輸入分量的值對(duì)預(yù)測(cè)輸出的擾動(dòng)的影響。因此，這可以用于構(gòu)建可能被目標(biāo)模型錯(cuò)誤分類(lèi)的對(duì)抗示例。盡管有理論上的興趣，但是這種方法在實(shí)際黑箱系統(tǒng)中的使用通常非常有限，在黑箱系統(tǒng)中，公共ML系統(tǒng)的內(nèi)部狀態(tài)/配置和操作機(jī)制并未向從業(yè)人員透露，并且與系統(tǒng)交互的唯一方式是通過(guò)提交輸入和接收對(duì)應(yīng)的預(yù)測(cè)輸出。

一種探索黑箱攻擊的常規(guī)方法是使用經(jīng)由零階優(yōu)化(“ZOO”)的梯度估計(jì)。該常規(guī)方法對(duì)模型進(jìn)行查詢，并估計(jì)相對(duì)于對(duì)應(yīng)輸入的輸出梯度。然后，該方法采用“卡利尼和瓦格納(Carlini and Wagner，CW)攻擊方法”來(lái)生成對(duì)抗示例。但是，因?yàn)槊看蔚夹枰罅坎樵儾拍苌蓽?zhǔn)確的梯度估算，所以該常規(guī)技術(shù)的計(jì)算量很大。

備選地，一種不同的常規(guī)技術(shù)旨在經(jīng)由貪婪的局部搜索來(lái)估計(jì)輸出梯度。在每次迭代中，常規(guī)技術(shù)只干擾輸入分量的子集。該局部搜索技術(shù)在計(jì)算上非常高效，但是該技術(shù)未將原始輸入及其干擾版本之間的失真明確地最小化。同樣，合成的噪音通常看起來(lái)更明顯。此外，該技術(shù)尚未在諸如ImageNet的數(shù)據(jù)密集型領(lǐng)域進(jìn)行測(cè)試。

另一常規(guī)技術(shù)通過(guò)限定查詢限制設(shè)置、部分信息設(shè)置和僅標(biāo)簽設(shè)置來(lái)研究更現(xiàn)實(shí)的威脅模型。基于自然進(jìn)化策略和蒙特卡羅近似，提出了三種攻擊方法。但是，該技術(shù)僅對(duì)L_∞范數(shù)施加了限制，而未將某個(gè)L_p范數(shù)最小化。

發(fā)明內(nèi)容

因此，發(fā)明人已在本領(lǐng)域中確定了在利用深度神經(jīng)網(wǎng)絡(luò)(DNN)進(jìn)行圖像(即，輸入)分類(lèi)的應(yīng)用中針對(duì)對(duì)抗攻擊的需求。

在一個(gè)示例性實(shí)施例中，本發(fā)明提供了用于檢查黑箱系統(tǒng)的學(xué)習(xí)性能的、計(jì)算機(jī)實(shí)現(xiàn)的對(duì)抗魯棒性測(cè)試方法，該方法包括經(jīng)由加速器來(lái)測(cè)試黑箱系統(tǒng)在不同訪問(wèn)設(shè)置下的魯棒性。

一個(gè)或多個(gè)其他示例性實(shí)施例包括基于上述方法的計(jì)算機(jī)程序產(chǎn)品和系統(tǒng)。