[發明專利]具有魯棒深度生成模型的系統和方法

在審

• 申請號: 202080075163.X
• 申請日: 2020-10-20
• 公開（公告）號: CN114586046A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: J·Z·柯爾特;F·C·孔德薩
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/10;G06K9/62;G06V10/764;G06V10/82
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉藝詩;劉春元

1.一種用于將機器學習系統訓練成對擾動魯棒的計算機實現方法，所述方法包括：

獲得輸入數據，所述輸入數據包括傳感器數據和可容許擾動的?_p范數球的半徑；

基于所述輸入數據來生成輸入邊界數據；

通過在編碼器網絡的第一輸出上傳播所述輸入邊界數據來生成第一邊界數據；

通過在編碼器網絡的第二輸出上傳播所述輸入邊界數據來生成第二邊界數據；

基于第一和第二邊界數據來生成與隱變量相關聯的第三邊界數據；

通過在解碼器網絡的輸出上傳播第三邊界數據來生成第四邊界數據；

通過基于第一邊界數據、第二邊界數據、第三邊界數據和第四邊界數據來生成證據下邊界（ELBO）的下邊界從而關于所述輸入數據來建立魯棒性憑證；以及

基于所述魯棒性憑證來更新所述編碼器網絡和所述解碼器網絡，使得包括所述編碼器網絡和所述解碼器網絡的所述機器學習系統在針對可容許擾動進行防御方面是魯棒的。

2.根據權利要求1所述的計算機實現方法，其中：

所述ELBO包括條件對數似然函數；以及

更新所述編碼器網絡和所述解碼器網絡的步驟包括優化所述ELBO的下邊界。

3.根據權利要求1所述的計算機實現方法，其中更新所述編碼器網絡和所述解碼器網絡的步驟包括：

基于所述ELBO的下邊界來更新所述編碼器網絡和所述解碼器網絡的參數，以使所述ELBO的下邊界最大化。

4.根據權利要求1所述的計算機實現方法，其中：

所述機器學習系統包括變分自編碼器，所述變分自編碼器包括所述編碼器網絡和所述解碼器網絡；以及

隱變量與所述變分自編碼器相關聯。

5.根據權利要求1所述的計算機實現方法，其中：

所述編碼器網絡包括用于產生所述編碼器網絡的第一輸出的第一編碼組件和用于產生所述編碼器網絡的第二輸出的第二編碼組件；

生成第一邊界數據的步驟包括生成第一編碼組件的第一上邊界數據和第一下邊界數據；以及

生成第二邊界數據的步驟包括生成第二編碼組件的第二上邊界數據和第二下邊界數據。

6.根據權利要求1所述的計算機實現方法，其中所述魯棒性憑證生成所述ELBO的下邊界，以確保對于滿足 的所有δ，，其中

x表示傳感器數據，

δ表示擾動數據，

L(x+δ)表示基于被擾動數據所擾動的傳感器數據的ELBO，

表示所述ELBO的下邊界，以及

?_train表示可容許擾動的?_p范數球的半徑。

7.根據權利要求1所述的計算機實現方法，其中：

所述輸入邊界數據包括所述輸入數據的上邊界數據和下邊界數據；

第一邊界數據包括所述編碼器網絡的第一編碼組件的第一輸出的第一上邊界數據和第一下邊界數據；

第二邊界數據包括所述編碼器網絡的第二編碼組件的第二輸出的第二上邊界數據和第二下邊界數據；

第三邊界數據包括與隱變量相關聯的第三上邊界數據和第三下邊界數據；以及

第四邊界數據包括所述解碼器網絡的輸出的第四上邊界數據和第四下邊界數據。