[發明專利]使用降低精度的深度神經網絡的對抗性輸入識別

有效

• 申請號: 202010020033.8
• 申請日: 2020-01-09
• 公開（公告）號: CN111435461B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 陳家佑;陳品諭;莊逸仁;陳均富;崔正旭;K·高帕拉克里斯南
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0475;G06N3/094
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉玉潔

本申請涉及使用降低精度的深度神經網絡的對抗性輸入識別。處理器接收輸入數據，并將輸入數據提供給包括第一神經網絡模型的第一神經網絡。第一神經網絡模型具有第一數值精度水平。使用第一神經網絡從輸入數據生成第一特征向量。將輸入數據提供給包括第二神經網絡模型的第二神經網絡。第二神經網絡模型具有與第一數值精度水平不同的第二數值精度水平。使用第二神經網絡從輸入數據生成第二特征向量。計算第一特征向量和第二特征向量之間的差異度量。差異度量指示輸入數據是否包括對抗性數據。

技術領域

本發明一般而言涉及一種用于識別深度神經網絡的對抗性輸入的方法、系統和計算機程序產品。更特別地，本發明涉及用于使用降低精度的深度神經網絡的對抗性輸入識別的方法、系統和計算機程序產品。

背景技術

人工神經網絡(ANN)—也簡稱為神經網絡—是由許多簡單、高度互連的處理元件(節點)組成的計算系統，這些處理元件通過它們對外部輸入的動態狀態響應來處理信息。ANN是根據哺乳動物大腦皮層的神經元結構被松散地建模但規模要小得多的處理設備(算法和/或硬件)。大型ANN可能具有數百或數千個處理器單元，而哺乳動物的大腦則具有數十億個神經元，并且它們的整體交互和突現(emergent)行為的量相應增加。前饋神經網絡是其中單元之間的連接不形成循環的人工神經網絡。

深度神經網絡(DNN)是一種人工神經網絡(ANN)，其在輸入層和輸出層之間具有多個隱藏的單元層。與淺層ANN類似，DNN可以對復雜的非線性關系建模。例如，用于對象檢測和解析的DNN體系架構生成合成模型，其中對象被表示為圖像基元(primitive)的分層合成。額外的層使得能夠合成來自較低層的特征，從而與類似地執行淺層網絡相比，給出了用更少的單元對復雜數據進行建模的可能性。DNN通常被設計為前饋網絡。DNN通常用于計算機視覺的圖像分類任務，其中圖像中表示的對象被識別并且被分類。

發明內容

說明性實施例提供了一種方法、系統和計算機程序產品。方法的實施例包括由處理器接收輸入數據，并將輸入數據提供給包括第一神經網絡模型的第一神經網絡。在實施例中，第一神經網絡模型具有第一數值精度水平。實施例還包括使用第一神經網絡從輸入數據生成第一特征向量，以及將輸入數據提供給包括第二神經網絡模型的第二神經網絡。在本實施例中，第二神經網絡模型具有與第一數值精度水平不同的第二數值精度水平。實施例還包括使用第二神經網絡從輸入數據生成第二特征向量。實施例還包括計算第一特征向量和第二特征向量之間的差異度量。在本實施例中，差異度量指示輸入數據是否包括對抗性數據。

另一個實施例還包括將差異度量與預定閾值進行比較。

另一個實施例還包括：確定差異度量超過預定閾值；以及響應于確定差異度量超過預定閾值，確定輸入數據包括對抗性數據。另一個實施例還包括丟棄輸入數據。

另一個實施例還包括：確定差異度量未超過預定閾值；以及響應于確定差異度量未超過預定閾值，確定輸入數據的分類。

在另一個實施例中，第一數值精度水平大于第二數值精度水平。在另一個實施例中，第一數值精度水平是全數值精度水平。

在另一個實施例中，第一神經網絡模型是具有已知數值精度水平的已發布的神經網絡模型。在另一個實施例中，第二神經網絡模型是降低精度的神經網絡模型。在另一個實施例中，第二神經網絡模型是加密的神經網絡模型。

在另一個實施例中，第二神經網絡模型的一個或多個層包括不同的數值精度水平。

在另一個實施例中，第一神經網絡或第二神經網絡中的一個或多個包括深度神經網絡(DNN)。在另一個實施例中，輸入數據包括圖像數據。

實施例包括計算機可用程序產品。該計算機可用程序產品包括一個或多個計算機可讀存儲設備，以及存儲在一個或多個存儲設備中的至少一個存儲設備上的程序指令。