[發明專利]用于修正神經網絡中的有錯誤的神經元函數的方法和設備

在審

• 申請號: 202110653669.0
• 申請日: 2021-06-11
• 公開（公告）號: CN113807514A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: A·貢托羅;C·朔恩;J·普萊汀科斯;L·L·艾克;S·沃格爾
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F11/07
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 胡莉莉;劉春元

本發明涉及用于修正神經網絡中的有錯誤的神經元函數的方法和設備。本發明涉及一種用于根據神經元輸出值（o₁，o₂）來計算神經網絡的輸出值的方法、尤其是計算機實施的方法，所述神經網絡具有多個神經元（1），所述方法具有下列步驟：?檢查（S1，S2）神經元組的一個或者多個神經元的神經元函數；?在查明神經元組中的錯誤時，確定（S3）錯誤的致命性；?根據所查明的錯誤的致命性，修正（S5）神經元組的一個或者多個神經元（1）中的至少一個神經元的神經元輸出值（o₁，o₂）。

技術領域

本發明涉及神經網絡，并且尤其是涉及用于檢查和修正神經網絡中的神經元的功能的措施。

背景技術

顯而易見地，采用機器學習方法，以便應對在不同領域中的復雜任務提出。尤其是，有學習能力的系統適合于如例如圖像分類、對象識別、語音處理以及其他等等之類的任務提出。通過將高度并行的計算單元設置在單個部件上的可能性，可以實施具有高并行性的深度神經網絡。

尤其是在高度集成地實施深度神經網絡的情況下，涉及一個或者多個單個神經元的硬件錯誤變得更有可能。因而，必要性原則上是識別功能錯誤。

針對錯誤識別，并且必要時針對錯誤校正，必需一種形式的冗余。在一般情況下，如何充分利用冗余以便識別出錯誤和必要時修正錯誤的方式和方法是問題特定的（Problemspezifisch）。不同冗余形式的組合也經常被應用于整個系統的多個層面。冗余原則上可以包括空間冗余（結構的倍增）、時間冗余（時間上錯移地進行的檢查）和編碼（呈相同信息內容的多重信息形式的冗余）。

也可以在深度神經網絡的領域中采用傳統的用于設置冗余的方案。這例如包含對神經網絡的部分的復制諸如此類。可是，可以查明，針對深度神經網絡只能不令人滿意地可采用已知方案中的許多方案。尤其是，針對深度神經網絡設置冗余的傳統方案介入深度神經網絡的架構，或改變深度神經網絡的訓練方法，或者需要專用硬件或者修改在標準部件中未設置的硬件。

發明內容

根據本發明，設置了根據權利要求1所述的一種用于修正神經網絡的神經元函數的方法，以及設置了根據并列權利要求所述的一種神經網絡。

其他構建方案在從屬權利要求中予以說明。

根據第一方面，設置了一種用于計算具有多個神經元的神經網絡的輸出值的方法，所述方法具有下列步驟：

- 檢查神經元組的一個或者多個神經元的神經元函數；

- 在查明神經元組中的錯誤時，確定該錯誤的致命性；

- 根據所查明的錯誤的致命性，修正神經元組的一個或者多個神經元中的至少一個神經元的神經元輸出值。

從現有技術中已知的校驗和方法設置了，通過校驗和比較，測定有錯誤的神經元計算。這樣，可以相對應地借助比較計算來修正神經元組的被辨識出的有錯誤的神經元。對此，在一般情況下，計算神經元組的多個神經元的神經元輸出的和，并且將該和與校驗和進行比較。如果這兩個值的差不等于零，則存在錯誤。在此，可以從如下神經元輸入值的和中測定校驗和：所述神經元輸入值利用加權因子來加權，所述加權因子分別從神經元組的屬于輸入值的權重的和中得出。在存在偏置值的情況下，附加地必須將神經元組的偏置值的和添加到校驗和。

對神經元中的錯誤的定位在最簡單情況下僅限于多個神經元的神經元組，所述神經元組是所有神經元的子集。但是通過多重校驗和計算，可以實現更精確的定位，直至定位各個有錯誤的神經元。然而，更精確的定位隨著校驗和的開銷更高的計算而出現，使得神經網絡的推斷的時間必要時上升。

針對識別出的計算錯誤，可以設置如下校正：所述校正以合適的方式替代有錯誤的神經元輸出值。