[發(fā)明專利]為分類模型確定擾動(dòng)掩模

在審

• 申請(qǐng)?zhí)枺?/td>: 202010411809.9
• 申請(qǐng)日: 2020-05-15
• 公開（公告）號(hào): CN111950582A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: A.M.蒙諾茲德爾加多
• 申請(qǐng)（專利權(quán)）人: 羅伯特·博世有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/02;G06N3/08
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 張凌苗;閆小龍

為分類模型確定擾動(dòng)掩模。公開了一種用于為對(duì)于分類模型的輸入實(shí)例來(lái)確定掩模的系統(tǒng)（100），所述掩模對(duì)干擾通過分類模型而對(duì)輸入實(shí)例的分類的擾動(dòng)進(jìn)行指示。分類模型確定某個(gè)類型的輸入實(shí)例的分類。生成型模型根據(jù)隱空間表示來(lái)生成所述類型的合成實(shí)例。給定輸入實(shí)例、其根據(jù)分類模型的分類以及讓生成型模型近似輸入實(shí)例的隱空間表示，掩模被確定。所述掩模指示對(duì)于針對(duì)輸入實(shí)例的隱空間表示的擾動(dòng)，并且基于針對(duì)受擾動(dòng)的輸入實(shí)例的分類模型的分類評(píng)分來(lái)被確定。所述受擾動(dòng)的實(shí)例使用掩模通過如下來(lái)被確定：利用掩模來(lái)掩蔽隱空間表示；以及使用所述生成型模型、根據(jù)受掩蔽的隱空間表示來(lái)生成受擾動(dòng)的輸入實(shí)例。

技術(shù)領(lǐng)域

本發(fā)明涉及一種系統(tǒng)，其用于為通過分類模型的分類確定掩模，例如用于獲得對(duì)于分類模型是否已經(jīng)學(xué)習(xí)了輸入/輸出關(guān)系的理解。本發(fā)明還涉及對(duì)應(yīng)的計(jì)算機(jī)實(shí)現(xiàn)的方法。本發(fā)明此外涉及包括用于執(zhí)行所述方法的指令的計(jì)算機(jī)可讀介質(zhì)。

發(fā)明背景

分類模型越來(lái)越多地被使用在諸如自動(dòng)化控制系統(tǒng)之類的環(huán)境中。例如，自主載具的控制系統(tǒng)可以使用圖像分類來(lái)檢測(cè)在它們附近的對(duì)象、諸如交通標(biāo)志和障礙，并且使用該檢測(cè)來(lái)控制載具。然而，還有非自主載具當(dāng)今具有駕駛員輔助系統(tǒng)，所述駕駛員輔助系統(tǒng)使用圖像分類，例如用于如果載具處于與對(duì)象碰撞的危險(xiǎn)中則制動(dòng)。圖像分類也被使用在諸如醫(yī)學(xué)圖像分類的各種其它關(guān)鍵的情境中。除了圖像之外，還有其它類型的傳感器數(shù)據(jù)可以被用作對(duì)于分類模型的輸入，例如，音頻數(shù)據(jù)、視頻數(shù)據(jù)、雷達(dá)數(shù)據(jù)、LiDAR數(shù)據(jù)、超聲數(shù)據(jù)或各種單獨(dú)的傳感器讀數(shù)或它們的歷史。

基于分類，可以生成控制信號(hào)，例如用于控制機(jī)器人、載具、家用器具、電力工具、制造機(jī)器、個(gè)人助理、訪問控制系統(tǒng)等等。然而，分類還發(fā)生在諸如醫(yī)學(xué)圖像分析之類的各種其它情境中。各種類型的分類模型是已知的，例如神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等等。分類模型有時(shí)還被稱為鑒別模型。

為了確保分類模型的穩(wěn)健性和可靠性，重要的是確立分類模型已經(jīng)學(xué)習(xí)了所期望的輸入-輸出關(guān)系所至的程度。對(duì)于更復(fù)雜的模型、諸如神經(jīng)網(wǎng)絡(luò)而言尤其是這種情況，所述更復(fù)雜的模型可以被視為黑箱，其提供分類、但是獨(dú)自提供對(duì)于如何獲得該分類的很少的洞察。例如，這樣的模型可以在受限的、并且因而固有地偏置的數(shù)據(jù)集上被訓(xùn)練，從而導(dǎo)致與可用數(shù)據(jù)的量相比被過度參數(shù)化的模型。作為結(jié)果，這樣的模型可能看似在測(cè)試中很好地起作用，但是在部署中可能提供拙劣的結(jié)果。例如，在針對(duì)良好天氣狀況的數(shù)據(jù)上所訓(xùn)練的用于載具的圖像分類器可能不很好地一般化到拙劣的天氣狀況。

此外，已知各種現(xiàn)有技術(shù)機(jī)器學(xué)習(xí)模型、例如神經(jīng)網(wǎng)絡(luò)可被欺騙而提供具有潛在危險(xiǎn)的結(jié)果的假的、高置信度預(yù)測(cè)。例如，確定用裸眼難以看到的對(duì)圖像的修改可以是可能的，但是盡管如此仍使得圖像分類器從做出往一類、例如碰撞對(duì)象中的高置信度分類改變其主意至往另一類、例如無(wú)危險(xiǎn)中的高置信度分類。而且在該情況中，可能對(duì)分類模型的真實(shí)一般化性能提出疑問。

為了獲得對(duì)于分類模型是否已經(jīng)學(xué)習(xí)了輸入/輸出關(guān)系的理解，已知使用擾動(dòng)掩模。例如，在R. Fong和A. Vedaldi的“Interpretable explanations of black boxes bymeaningful perturbation”（在https://arxiv.org/abs/1704.03296處可得并且通過引用被并入本文中）中，提出了一框架，所述框架在圖像中給出，確定與所述圖像相同大小的掩模，并且突出對(duì)于分類器決定最有責(zé)任的圖像的部分。

發(fā)明內(nèi)容

各種實(shí)施例旨在確定指示擾動(dòng)的掩模，所述擾動(dòng)干擾通過分類模型對(duì)輸入實(shí)例的分類。可以有利的是標(biāo)識(shí)在以下意義上臨界的擾動(dòng)：即它們干擾分類，例如將圖像分類從“交通標(biāo)志”改變成“廣告牌”，或減小分類為“交通標(biāo)志”的確定性。還可以有益的是標(biāo)識(shí)在以下意義上最小限度的擾動(dòng)：即改變旨在盡可能好地保持輸入實(shí)例。