[發明專利]信息處理設備、計算機可讀存儲介質和神經網絡計算方法

在審

• 申請號: 202011343338.9
• 申請日: 2020-11-25
• 公開（公告）號: CN113111998A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 坂井靖文
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 康建峰;崔俊紅

1.一種執行神經網絡的訓練的信息處理設備，所述信息處理設備包括：

處理器；以及

由所述處理器訪問的存儲器，其中，

所述處理器：

根據具有第一位長度的第一定點數格式和定點數的最低有效位的第一指數信息，將通過所述訓練的預定運算獲得的多個第一中間數據分別量化為多個第一定點數的中間數據；

分別獲得所述多個第一中間數據與所述多個第一定點數的中間數據之間的第一量化誤差；

根據具有第二位長度的第二定點數格式和定點數的最低有效位的第二指數信息，將所述多個第一中間數據分別量化為多個第二定點數的中間數據；

分別獲得所述多個第一中間數據與所述多個第二定點數的中間數據之間的第二量化誤差；

將所述第一量化誤差與所述第二量化誤差進行比較，并將具有所述第一量化誤差和所述第二量化誤差中的較低量化誤差的定點數格式確定為確定的定點數格式；并且

利用通過根據所述確定的定點數格式量化所述多個第一中間數據而獲得的多個確定的定點數的中間數據來執行所述預定運算。

2.根據權利要求1所述的信息處理設備，其中，當由所述處理器通過舍入處理和飽和處理以所述位長度限制所述第一中間數據時，所述定點數格式限定數位的范圍。

3.根據權利要求1所述的信息處理設備，其中，所述處理器還：

基于所述多個第一中間數據的值的范圍，確定多個定點數格式候選，所述多個定點數格式候選每個分別具有針對所述最低有效位的指數信息的多個候選；

通過分別基于所述多個定點數格式候選對所述多個第一中間數據進行量化來生成多個經量化的中間數據，并且分別獲得所述多個第一中間數據與所述多個經量化的中間數據之間的多個量化誤差，所述多個量化誤差分別與所述多個定點數格式候選相對應；以及

在確定所述確定的定點數格式時，將與所述多個量化誤差中的最低量化誤差相對應的定點數格式候選確定為所述確定的定點數格式。

4.根據權利要求3所述的信息處理設備，其中，在獲得所述多個量化誤差時，所述處理器從所述多個定點數格式候選中針對所述最低有效位的最大或最小指數信息的候選向針對所述最低有效位的最小或最大指數信息的候選依次計算所述多個量化誤差，并且當所述多個量化誤差之一從減小切換為增加時，結束所述多個量化誤差的獲得。

5.根據權利要求1所述的信息處理設備，其中，所述處理器在通過使用訓練數據執行所述神經網絡的訓練的訓練處理中，對所述確定的定點數格式執行確定。

6.根據權利要求1所述的信息處理設備，其中，在執行具有通過使用訓練數據學習到的參數的神經網絡的推斷的推斷處理時，執行對所述確定的定點數格式的確定。

7.根據權利要求1所述的信息處理設備，其中，所述處理器通過分別計算所述多個第一中間數據與多個經量化的中間數據之間的誤差的平方之和或者通過分別計算所述多個第一中間數據與所述多個經量化的中間數據之間的差的絕對值之和，來計算所述第一量化誤差和所述第二量化誤差。

8.根據權利要求1所述的信息處理設備，其中，在根據定點數格式進行量化之前，所述多個第一中間數據是浮點數數據，或者是具有比在所述量化時使用的定點數格式的位長度長的位長度的定點數數據。