[發(fā)明專利]具有魯棒深度生成模型的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202080075163.X
• 申請(qǐng)日: 2020-10-20
• 公開(kāi)（公告）號(hào): CN114586046A
• 公開(kāi)（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: J·Z·柯?tīng)柼?/a>;F·C·孔德薩
• 申請(qǐng)（專利權(quán)）人: 羅伯特·博世有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06N20/10;G06K9/62;G06V10/764;G06V10/82
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 劉藝詩(shī);劉春元

一種機(jī)器學(xué)習(xí)系統(tǒng)包括編碼器和解碼器網(wǎng)絡(luò)。所述機(jī)器學(xué)習(xí)系統(tǒng)被配置成獲得輸入數(shù)據(jù)，所述輸入數(shù)據(jù)包括傳感器數(shù)據(jù)和可容許擾動(dòng)的?_p范數(shù)球的半徑。基于輸入數(shù)據(jù)來(lái)生成輸入邊界數(shù)據(jù)。通過(guò)在編碼器網(wǎng)絡(luò)的第一和第二輸出上分別傳播所述輸入邊界數(shù)據(jù)來(lái)生成第一邊界數(shù)據(jù)和第二邊界數(shù)據(jù)。基于第一邊界數(shù)據(jù)和第二邊界數(shù)據(jù)、與隱變量相關(guān)聯(lián)地生成第三邊界數(shù)據(jù)。通過(guò)在解碼器網(wǎng)絡(luò)的輸出上傳播第三邊界數(shù)據(jù)來(lái)生成第四邊界數(shù)據(jù)。通過(guò)基于第一、第二、第三和第四邊界數(shù)據(jù)來(lái)生成證據(jù)下邊界的下邊界從而關(guān)于所述輸入數(shù)據(jù)來(lái)建立魯棒性憑證。基于所述魯棒性憑證來(lái)更新編碼器和解碼器網(wǎng)絡(luò)，以在針對(duì)可容許擾動(dòng)進(jìn)行防御方面向機(jī)器學(xué)習(xí)系統(tǒng)提供魯棒性。

技術(shù)領(lǐng)域

本公開(kāi)總體上涉及機(jī)器學(xué)習(xí)系統(tǒng)，并且更具體地，涉及對(duì)對(duì)抗式攻擊魯棒的深度生成模型。

背景技術(shù)

一般來(lái)說(shuō)，機(jī)器學(xué)習(xí)系統(tǒng)（諸如，深度神經(jīng)網(wǎng)絡(luò)）容易受到對(duì)抗式攻擊。例如，機(jī)器學(xué)習(xí)系統(tǒng)可能會(huì)經(jīng)由其輸入而被攻擊。這種對(duì)抗式攻擊包括對(duì)輸入的擾動(dòng)，這種擾動(dòng)引起機(jī)器學(xué)習(xí)系統(tǒng)的輸出中的改變。例如，當(dāng)對(duì)抗式攻擊涉及傳感器數(shù)據(jù)時(shí)，對(duì)該傳感器數(shù)據(jù)的擾動(dòng)可能例如通過(guò)提供不正確的輸出數(shù)據(jù)而引起機(jī)器學(xué)習(xí)系統(tǒng)以非期望的方式做出行為，從而導(dǎo)致負(fù)面后果和影響。雖然在分類設(shè)置中、并且在較小程度上在諸如對(duì)象檢測(cè)或圖像分割之類的其他監(jiān)督設(shè)置中有一些與對(duì)抗式攻擊相關(guān)的工作，但是在向生成模型提供對(duì)對(duì)抗式攻擊的防御解決方案方面，似乎沒(méi)有太多的工作。

發(fā)明內(nèi)容

以下內(nèi)容是下面詳細(xì)描述的某些實(shí)施例的概述。呈現(xiàn)所描述的方面僅僅是為了向讀者提供這某些實(shí)施例的簡(jiǎn)要概述，并且對(duì)這些方面的描述并不意圖限制本公開(kāi)的范圍。實(shí)際上，本公開(kāi)可以涵蓋下面可能沒(méi)有明確闡述的各種方面。

根據(jù)至少一個(gè)方面，一種計(jì)算機(jī)實(shí)現(xiàn)方法包括：獲得輸入數(shù)據(jù)。輸入數(shù)據(jù)包括傳感器數(shù)據(jù)和可容許擾動(dòng)的?_p范數(shù)球的半徑。該方法包括：基于輸入數(shù)據(jù)來(lái)生成輸入邊界數(shù)據(jù)（bounding data）。該方法包括：通過(guò)在編碼器網(wǎng)絡(luò)的第一和第二輸出上傳播輸入邊界數(shù)據(jù)來(lái)生成第一邊界數(shù)據(jù)和第二邊界數(shù)據(jù)。該方法包括：生成第三邊界數(shù)據(jù)，第三邊界數(shù)據(jù)與隱變量相關(guān)聯(lián)并且基于編碼器網(wǎng)絡(luò)的輸出。該方法包括：通過(guò)在解碼器網(wǎng)絡(luò)的輸出上傳播第三邊界數(shù)據(jù)來(lái)生成第四邊界數(shù)據(jù)。該方法包括：通過(guò)基于第一邊界數(shù)據(jù)、第二邊界數(shù)據(jù)、第三邊界數(shù)據(jù)和第四邊界數(shù)據(jù)來(lái)生成證據(jù)下邊界（ELBO）的下邊界從而關(guān)于輸入數(shù)據(jù)來(lái)建立魯棒性憑證。該方法包括：基于魯棒性憑證來(lái)更新編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)，使得包括編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)系統(tǒng)在針對(duì)可容許擾動(dòng)進(jìn)行防御方面是魯棒的。

根據(jù)至少一個(gè)方面，一種系統(tǒng)包括：致動(dòng)器、傳感器系統(tǒng)、非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)和控制系統(tǒng)。傳感器系統(tǒng)包括至少一個(gè)傳感器。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)機(jī)器學(xué)習(xí)系統(tǒng)，該機(jī)器學(xué)習(xí)系統(tǒng)具有編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)，該編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)是基于形成該機(jī)器學(xué)習(xí)系統(tǒng)的損失函數(shù)的下邊界的魯棒性憑證來(lái)訓(xùn)練的。控制系統(tǒng)可操作以基于與傳感器系統(tǒng)和機(jī)器學(xué)習(xí)系統(tǒng)的通信來(lái)控制致動(dòng)器。控制系統(tǒng)包括至少一個(gè)電子處理器，該電子處理器可操作以獲得輸入數(shù)據(jù)，輸入數(shù)據(jù)包括來(lái)自傳感器系統(tǒng)的傳感器數(shù)據(jù)和來(lái)自干擾的擾動(dòng)數(shù)據(jù)，其中傳感器數(shù)據(jù)被擾動(dòng)數(shù)據(jù)所擾動(dòng)。經(jīng)由該機(jī)器學(xué)習(xí)系統(tǒng)來(lái)處理輸入數(shù)據(jù)。經(jīng)由該機(jī)器學(xué)習(xí)系統(tǒng)來(lái)生成輸出數(shù)據(jù)。輸出數(shù)據(jù)是傳感器數(shù)據(jù)的重建。輸出數(shù)據(jù)與未被擾動(dòng)數(shù)據(jù)所擾動(dòng)的似然性相關(guān)聯(lián)。似然性對(duì)應(yīng)于ELBO。傳感器數(shù)據(jù)和輸出數(shù)據(jù)是分布內(nèi)數(shù)據(jù)，該分布內(nèi)數(shù)據(jù)對(duì)應(yīng)于與該機(jī)器學(xué)習(xí)系統(tǒng)相關(guān)聯(lián)的模型分布。即使擾動(dòng)數(shù)據(jù)被構(gòu)造成使該機(jī)器學(xué)習(xí)系統(tǒng)將輸入數(shù)據(jù)標(biāo)識(shí)和處理為在模型分布之外的分布外數(shù)據(jù)，該機(jī)器學(xué)習(xí)系統(tǒng)也將輸入數(shù)據(jù)標(biāo)識(shí)和處理為在分布內(nèi)數(shù)據(jù)的范圍內(nèi)。