[發明專利]深度神經網絡中的網絡層運算方法及裝置

在審

• 申請號: 201810479974.0
• 申請日: 2018-05-18
• 公開（公告）號: CN110503182A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 張淵
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 11413 北京柏杉松知識產權代理事務所(普通合伙)
• 代理人: 馬敬;項京<國際申請>=<國際公布>=<

1.一種深度神經網絡中的網絡層運算方法，其特征在于，所述方法包括：

獲取深度神經網絡中網絡層的參數矩陣；

對所述參數矩陣中各權值進行歸一化操作，得到參數歸一化矩陣；

根據第一預設基矩陣，將所述參數歸一化矩陣中各元素表示為所述第一預設基矩陣中元素的線性組合，得到線性組合矩陣；

將所述網絡層的輸入量與所述線性組合矩陣進行運算，得到所述網絡層的輸出量。

2.根據權利要求1所述的方法，其特征在于，在所述獲取深度神經網絡中網絡層的參數矩陣之后，所述方法還包括：

統計所述參數矩陣中的各權值，得到所述參數矩陣的權值范圍；

基于所述權值范圍，提取所述參數矩陣中絕對值最大的第一權值；

所述對所述參數矩陣中各權值進行歸一化操作，得到參數歸一化矩陣，包括：

將所述參數矩陣中的各權值分別除以所述第一權值，得到參數歸一化矩陣；

所述將所述網絡層的輸入量與所述線性組合矩陣進行運算，得到所述網絡層的輸出量，包括：

將所述網絡層的輸入量與所述線性組合矩陣進行運算，并將所述第一權值與運算結果相乘，得到所述網絡層的輸出量。

3.根據權利要求2所述的方法，其特征在于，所述對所述參數矩陣中各權值進行歸一化操作，得到參數歸一化矩陣，包括：

將所述參數矩陣中的各權值分別除以所述第一權值的絕對值，得到參數歸一化矩陣；

所述將所述網絡層的輸入量與所述線性組合矩陣進行運算，得到所述網絡層的輸出量，包括：

將所述網絡層的輸入量與所述線性組合矩陣進行運算，并將所述第一權值的絕對值與運算結果相乘，得到所述網絡層的輸出量。

4.根據權利要求1所述的方法，其特征在于，所述第一預設基矩陣為移位型基矩陣，所述移位型基矩陣中各元素為2的冪指數；

所述根據第一預設基矩陣，將所述參數歸一化矩陣中各元素表示為所述第一預設基矩陣中元素的線性組合，得到線性組合矩陣，包括：

根據第一預設基矩陣，將所述參數歸一化矩陣中各元素表示為2的冪指數的線性組合，得到線性組合矩陣；

所述將所述網絡層的輸入量與所述線性組合矩陣進行運算，得到所述網絡層的輸出量，包括：

針對所述網絡層的輸入量中的第一元素，根據與所述第一元素進行乘法運算的所述線性組合矩陣中第二元素的各冪指數，對所述第一元素分別進行多次移位操作，并對所述多次移位操作后的結果相加，得到所述第一元素與所述第二元素的乘積結果；

根據所述輸入量中各元素與所述線性組合矩陣中各元素的乘積結果，通過組合的方式對所述輸入量與所述線性組合矩陣進行運算，得到所述網絡層的輸出量。

5.根據權利要求1所述的方法，其特征在于，在所述將所述網絡層的輸入量與所述線性組合矩陣進行運算，得到所述網絡層的輸出量之前，所述方法還包括：

獲取所述網絡層的輸入激活量；

對所述輸入激活量中各元素數值進行歸一化操作，得到激活量歸一化矩陣；

根據第二預設基矩陣，將所述激活量歸一化矩陣中各元素表示為所述第二預設基矩陣中元素的線性組合，得到所述網絡層的輸入量。

6.根據權利要求5所述的方法，其特征在于，在所述獲取所述網絡層的輸入激活量之后，所述方法還包括：

統計所述輸入激活量的各元素數值，得到所述輸入激活量的元素數值范圍；

基于所述元素數值范圍，提取所述輸入激活量中絕對值最大的第一元素數值；

所述對所述輸入激活量中各元素數值進行歸一化操作，得到激活量歸一化矩陣，包括：

將所述輸入激活量中的各元素數值分別除以所述第一元素數值，得到激活量歸一化矩陣；

所述將所述網絡層的輸入量與所述線性組合矩陣進行運算，得到所述網絡層的輸出量，包括：

將所述網絡層的輸入量與所述線性組合矩陣進行運算，并將所述第一元素數值與運算結果相乘，得到所述網絡層的輸出量。