[發明專利]具有求解半定規劃的層的神經網絡

在審

• 申請號: 202010423498.8
• 申請日: 2020-05-19
• 公開（公告）號: CN111967567A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: C.多莫科什;J.Z.科特勒;P-W.王;P.L.唐蒂
• 申請（專利權）人: 羅伯特·博世有限公司;卡內基梅隆大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉書航;申屠偉進

1.一種用于將神經網絡應用于輸入實例的系統（200），所述系統包括：

- 數據接口（220），用于訪問表示神經網絡的數據（050），所述神經網絡包括至少一個優化層，其中所述優化層用于通過聯合優化從一個或多個輸入神經元的值中確定一個或多個輸出神經元的值，所述數據包括所述聯合優化的一個或多個參數；

- 處理器子系統（240），被配置為：

- 獲得輸入實例；

- 將所述神經網絡應用于所述輸入實例，包括：

- 獲得到所述優化層的所述一個或多個輸入神經元的值，并從中確定所述一個或多個輸入神經元的輸入向量；

- 通過關于所述輸入向量聯合優化至少輸出向量以求解由所述一個或多個參數定義的半定規劃，來從所確定的輸入向量計算所述一個或多個輸出神經元的輸出向量；

- 從相應計算的輸出向量中確定所述一個或多個輸出神經元的值。

2.根據權利要求1所述的系統（200），其中輸入實例包括圖像，并且其中神經網絡包括至少一個卷積層，所述至少一個卷積層之后是優化層。

3.根據前述權利要求中任一項所述的系統（200），其中半定規劃包括關于至少所述一個或多個輸入神經元和所述一個或多個輸出神經元的值的MAXSAT問題或MAX2SAT問題或MAXCUT問題的松弛。

4.根據前述權利要求中任一項所述的系統（200），其中，處理器子系統（240）被配置為通過與輸出向量聯合優化一個或多個輔助向量來計算所述輸出向量。

5.根據前述權利要求中任一項所述的系統（200），其中處理器子系統（240）被配置為通過最小化輸入向量、輸出向量以及可選的輔助向量的內積（）的線性組合（）來計算所述輸出向量。

6.根據權利要求5所述的系統（200），其中兩個向量的內積的線性組合的系數由與相應向量相關聯的兩個權重向量的內積（）給出，所述兩個權重向量被包括在聯合優化的參數中。

7.根據權利要求6所述的系統（200），其中所述兩個權重向量（）具有比輸入向量、輸出向量以及可選的輔助向量的總數更少的元素。

8.根據前述權利要求中任一項所述的系統（200），其中，處理器子系統被配置為通過基于輸出向量和輔助向量的當前值以及輸入向量重復更新輸出向量或輔助向量，來計算輸出向量。

9.根據權利要求8所述的系統（200），其中聯合優化的參數包括與相應的輸入向量、輸出向量以及可選的輔助向量相關聯的權重向量，所述權重向量的相應條目定義了表示要被聯合優化的子句的所述向量的線性組合，處理器子系統（240）被配置為通過如下方式計算輸出向量：

- 初始化狀態矩陣，所述狀態矩陣的列指示關于輸入向量、輸出向量以及可選的輔助向量的子句值；以及

- 基于輸出向量和輔助向量的當前值以及輸入向量來重復更新輸出向量或輔助向量，其包括基于更新的輸出向量或輔助向量來更新狀態矩陣。