[發明專利]神經網絡的正則化訓練

在審

• 申請號: 202180039912.8
• 申請日: 2021-06-02
• 公開（公告）號: CN115668227A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: J·E·M·梅納特
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 姬亞東;劉春元

一種用于借助于學習數據集（2）來訓練人工神經網絡KNN（1）的方法（100），所述KNN將一個或多個輸入參量（11）轉化成一個或多個輸出參量（13），所述學習數據集包括具有測量數據的學習輸入參量值（11a）和相關的學習輸出參量值（13a），所述方法具有如下步驟：來自至少一個學習數據集（2）的學習輸入參量值（11a）由所述KNN（1）映射（110）到輸出參量值（13）；所述輸出參量值（13）與相應的學習輸出參量值（13a）的偏差根據成本函數（14）被處理（120）成所述KNN（1）在處理所述學習輸入參量值（11a）時的誤差（14a）的量度；從所述誤差（14a），通過反向傳播來確定（130）對所述參數（12）的如下更改，在通過所述KNN（1）來進一步處理學習輸入參量值（11a）時，對所述更改的執行預計會改善通過所述成本函數（14）對在此所獲得的輸出參量值（13）的評估，而且將所述更改應用（140）于所述KNN（1）；其中所述輸出參量值（13）的一部分（13*）至少在反向傳播（130）中被排除（131）。

技術領域

本發明涉及對例如可用于測量數據的分類或語義分割的神經網絡的訓練。

背景技術

通常，訓練人類駕駛員在道路交通中對車輛的駕駛，其方式是使駕校學生在其培訓范圍內總是反復以特定規則來面對情況。駕校學生必須對這些情況分別做出反應并且從教練的評論或者甚至干預中獲得該駕校學生的反應是對還是錯的反饋。這種利用有限數目的情況進行的訓練應該使駕校學生有能力在獨立駕駛車輛時也勝任不熟悉的情況。

為了使車輛完全或部分自動化地參與道路交通，謀求利用能以非常類似的方式訓練的網絡來控制這些車輛。這些網絡例如從車輛環境中獲得傳感器數據作為輸入參量，并且提供用來干預車輛的運行的操控信號和/或從中形成這樣的操控信號的初級產品，作為輸出參量。例如，這樣的初級產品可以是對車輛環境中的對象的分類和/或對車輛環境的語義分割。

發明內容

在本發明的范圍內，開發了一種用于訓練人工神經網絡KNN的方法。KNN將一個或多個輸入參量轉化成一個或多個輸出參量。

輸入參量例如可以是圖像數據，諸如相機圖像、視頻圖像、雷達圖像、激光雷達圖像或者超聲圖像。輸出參量例如可以包括到指定分類的一個或多個類別的分配。這些類別例如可以表示不同對象。

該訓練依據學習數據集來進行，這些學習數據集包含學習輸入參量值和相關的學習輸出參量值。在此，至少學習輸入參量值包括測量數據，這些測量數據是通過物理測量過程和/或通過對這種測量過程的部分或完整的模擬和/或通過對能利用這種測量過程來觀察的技術系統的部分或完整的模擬來獲得的。

在此，術語“學習數據集”并不是指所有可用的學習數據的全體，而是指一個或多個學習輸入參量值與正好被分配給這些學習輸入參量值作為“標記”的學習輸出參量值的組合。對于用于分類和/或回歸的可訓練模塊，學習數據集例如可以包括圖像，作為學習輸入參量值結合該可訓練模塊在理想情況下旨在據此生成的作為學習輸出參量值的向量的Softmax分數的矩陣。

在訓練時，來自至少一個學習數據集的學習輸入參量值由KNN映射到輸出參量值。輸出參量值與相應的學習輸出參量值的偏差根據成本函數（“Loss-Funktion”）被處理成KNN在處理學習輸入參量值時的誤差的量度。

KNN的行為通過參數來表征。這些參數尤其例如可以包括權重，利用這些權重來將被輸送給KNN的神經元和/或其它處理單元的輸入求和，用于激活該神經元或該處理單元。從依據成本函數所確定的誤差，通過KNN的反向傳播來確定對參數的如下更改，在通過KNN來進一步處理學習輸入參量值時，對這些更改的執行預計會改善通過成本函數對在此所獲得的輸出參量值的評估。這些更改被應用于KNN。

反向傳播尤其例如可以包含：根據參數對該誤差的影響來更改這些參數。為此，尤其是例如可以確定該誤差對這些參數的偏導數。