[發明專利]針對多個擾動類型穩健的分類

在審

• 申請號: 202010411792.7
• 申請日: 2020-05-15
• 公開（公告）號: CN111950581A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: E.黃;F.施密特;J.Z.柯爾特;P.麥尼
• 申請（專利權）人: 博世有限公司;卡內基梅隆大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;閆小龍

針對多個擾動類型穩健的分類。公開了一種用于將分類模型訓練成針對多個擾動類型的擾動而言是穩健的系統（100）。擾動類型限定所允許的擾動的集合。所述分類模型在外迭代中通過如下來被訓練：選擇訓練數據集的訓練實例的集合；在被多個擾動類型所允許的擾動之中選擇用于擾動所選訓練實例以最大化損失函數的一個或多個擾動；以及更新分類模型的參數集合以減小針對受擾動的實例的損失。在內迭代中通過如下來確定擾動：確定被多個擾動類型中的相應擾動類型所允許的經更新的擾動，以及選擇使分類模型的損失增大最多的經更新的擾動。

技術領域

本發明涉及一種用于將分類模型、例如圖像分類器訓練成針對多個擾動類型的擾動而言是穩健的系統和經計算機實現的方法。本發明此外涉及一種用于執行針對多個擾動類型的擾動而言穩健的分類的系統和經計算機實現的方法。本發明此外涉及一種包括分類系統的汽車控制系統。本發明此外涉及一種計算機可讀介質，其包括用于執行方法的指令或對分類模型進行參數化的參數。

發明背景

自主設備必須基于所觀察的環境來做出決定。這可以例如通過對輸入數據進行分類、例如通過將交通標志標識為停止標志而進行。在許多情況中，這樣的分類模型可以基于高品質數據來被訓練，所述高品質數據例如在相對良好的條件中被獲得。然而，在現實使用中，經常在不達理想的情形中應用分類模型。例如，在圖像分類中，與在訓練數據中相比，光照條件在現實生活中可能不同，或者圖片可能模糊不清，或受污垢、雨或雪等等影響。因為表示這樣的情形的數據典型地在訓練數據集中沒有被很好地表示，所以與預期相比，分類模型在實踐中可能不太準確或不太可預測。更重要的是，具有對分類模型的內部的認知的、帶惡意意圖的某人可以能夠設計擾動，所述擾動難以被人類識別但是仍然引起誤分類。因而至關重要的是確保分類模型在各種種類的擾動被施加到其輸入的時候仍然起作用。

在A. M?dry等人的論文“Towards Deep Learning Models Resistant toAdversarial Attacks”（其在https://arxiv.org/abs/1706.06083處可得到并且通過引用被并入本文中）中，呈現了一種技術來訓練神經網絡，所述神經網絡針對所謂的“一階對抗者”而言是穩健的，所述“一階對抗者”限定了通過在數據點周圍的-球而給出的所允許的擾動的集合。通過在外部優化中關于受擾動的訓練實例而最小化損失函數來執行神經網絡的訓練。所述受擾動的訓練實例在內部優化中被確定，以最大化該損失。使用所投影的梯度下降來執行內部優化。通過應用隨機梯度下降來執行外部優化問題，所述隨機梯度下降使用在受擾動的訓練實例處的損失的梯度。

發明內容

發明人意識到：合期望的是將分類模型訓練成針對多個擾動類型的擾動而言是穩健的。當在實踐中應用分類器、例如用于對自主設備的傳感器讀數進行分類的時候，失真可起源于不同的源，并且因此至關重要的是關于多個威脅類型、例如擾動類型是穩健的。例如，可以合期望的是提供針對傳感器噪聲和運動模糊二者的穩健性。特別地，可能需要提供針對不能被描述為經限界的凸域的擾動集合、例如非凸集合的穩健性。通過保護免受多個擾動類型，例如，可以使得自主設備的決定更穩健和可靠。

存在對于改進分類模型的訓練和使用以便解決這些和其它問題的需要。

根據本發明的第一方面，提出了一種用于將分類模型訓練成針對多個擾動類型的擾動而言是穩健的系統，如通過權利要求1所限定的。根據本發明的另一方面，提出了一種用于執行針對多個擾動類型的擾動而言穩健的分類的系統，如通過權利要求10所限定的。根據本發明的另一方面，提出了一種自主控制系統，如通過權利要求11所限定的。根據本發明的另外的方面，提出了一種經計算機實現的方法，如通過權利要求12和13所限定的。根據仍另外的方面，提出了一種計算機可讀介質，如通過權利要求14和15所限定的。