[發明專利]用于生成神經網絡的二值化權重的處理器和方法

在審

• 申請號: 202011457687.3
• 申請日: 2020-12-11
• 公開（公告）號: CN113177638A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 焦玉中;霍曉
• 申請（專利權）人: 聯合微電子中心(香港)有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

1.一種用于生成神經網絡的二值化權重的處理器，所述處理器包括：

二值化方案生成模塊，所述二值化方案生成模塊被配置為：

將所述神經網絡的一個或多個層的一組輸入權重劃分為多個權重分組；以及

針對每個權重分組生成用于表示所述權重分組的一個或多個候選二值權重串；

二值化方案選擇模塊，所述二值化方案選擇模塊被配置為：

針對所述多個權重分組中的至少一個權重分組根據預定編碼方法確定用于表示所述至少一個權重分組的至少兩個候選二值權重串的編碼長度；以及

至少部分基于所確定的編碼長度從所述至少兩個候選二值權重串中選擇表示所述至少一個權重分組的二值權重串，

其中，所述預定編碼方法根據預定序列從多個編碼方案中選擇每個權重分組的編碼方案；以及

權重生成模塊，所述權重生成模塊被配置為輸出表示所述選定的二值權重串的數據。

2.如權利要求1所述的處理器，其中，所述編碼方案將二值權重模式映射到碼字，并且其中，不同的編碼方案將至少一個相同的二值權重模式映射到不同的碼字。

3.如權利要求1或2所述的處理器，其中，所述編碼方案中的至少一些編碼方案是不平衡的，并且所述預定序列在所述多個權重分組上平衡所述編碼方案，使得所述神經網絡的所述一組輸入權重在二值化后整體上是平衡的。

4.如權利要求3所述的處理器，其中，所述預定規則使得輸入權重在二值化后對于所述神經網絡的每一層都是平衡的。

5.如權利要求3或4所述的處理器，其中，與基于所述權重的符號執行二值化的情況相比，根據所述不平衡的編碼方案的被選擇用于表示所述一組輸入權重的二值權重串具有明顯不同的高比特與低比特的比率。

6.如權利要求3至5中任一項所述的處理器，其中，與基于所述權重的符號執行二值化的情況相比，當被選擇用于表示所述一組輸入權重的二值權重串具有基本相同的高比特與低比特的比率時，所述一組輸入權重在二值化后是平衡的。

7.如以上權利要求中的任一項所述的處理器，其中，每個編碼方案將最短長度的碼字分配給選定的權重模式，每個編碼方案將所述最短長度的碼字分配給不同的權重模式。

8.如權利要求7所述的處理器，其中，所述編碼方案的預定序列使得所述預定序列的一個完整循環中與依次選擇的所述編碼方案相關聯的選定權重模式的組合中的高比特與低比特的比率等于預定比率。

9.如以上權利要求中的任一項所述的處理器，其中，所述方案選擇模塊被配置為基于根據第一編碼方案確定的編碼長度選擇一個權重分組的二值權重串，并且基于根據第二編碼方案確定的編碼長度選擇另一權重分組的二值權重串。

10.如以上權利要求中的任一項所述的處理器，其中，所述編碼方法將二值權重串編碼成固定長度的前綴和可變長度的數據段，其中，所述前綴的值決定所述數據段的長度。

11.如權利要求10所述的處理器，其中，第一前綴值對應零長度數據段，并且第二前綴值對應長度等于被編碼的二值權重串的長度的數據段。

12.如以上權利要求中的任一項所述的處理器，其中，所述編碼方法包括：如果二值權重串與所述選定的編碼方案的預定權重模式相匹配，則將所述二值權重串編碼成第一前綴值并且無數據段；否則，將所述二值權重串編碼成第二前綴值和包括所述二值權重串的數據段。

13.如以上權利要求中的任一項所述的處理器，其中，所述權重生成模塊被配置為輸出根據所述預定編碼方法編碼的已編碼二值權重串。