[發明專利]一種用于多任務神經網絡的量化和硬件加速方法及裝置

在審

• 申請號: 202010552322.2
• 申請日: 2020-06-17
• 公開（公告）號: CN111797984A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 翟乃鵬
• 申請（專利權）人: 寧波物棲科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F7/544;G06F1/03
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙) 11390
• 代理人: 胡劍輝

1.一種用于多任務神經網絡的量化和硬件加速方法，其特征在于，所述方法包括：

獲取預設的多個多任務神經網絡模型，其中，所述多個多任務神經網絡模型包括的層數一致；

提取所述多個多任務神經網絡模型中同一層的共享權重，生成對應權重碼表，其中，所述權重碼表包含所述共享權重；

獲取所述多個多任務神經網絡模型的訓練樣本，從所述訓練樣本中分析共享特征值，生成對應特征值碼表，其中，所述特征值碼表包含所述共享特征值；

將所述多個多任務神經網絡模型放入神經網絡加速器硬件中，基于所述權重碼表以及所述特征值碼表對所述多個多任務神經網絡模型進行加速。

2.根據權利要求1所述的方法，其特征在于，所述提取所述多個多任務神經網絡模型中同一層的共享權重，生成對應權重碼表，包括：

提取所述多個多任務神經網絡模型中同一層的所有權重；

從所述權重中剔除重復權重并協同聚類，得到包含多個多任務神經網絡模型中同一層的共享權重的權重碼表。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

針對所述權重碼表中包含的所述共享權重進行聚類，生成多個簇；

針對任一簇，選擇聚類中心代替該簇中包含的權重。

4.根據權利要求1所述的方法，其特征在于，所述基于所述權重碼表以及所述特征值碼表對所述多個多任務神經網絡模型進行加速，包括：

基于所述權重碼表以及所述特征值碼表，對所述多個多任務神經網絡模型中任一一層執行以下步驟：

在神經網絡加速器的運算單元中，使用每一對需要對應位置相乘的輸入的特征值索引和權重的特征值索引查找乘法結果復用表；

如果每一對需要對應位置相乘的輸入的特征值索引和權重的特征值索引存在于所述乘法結果復用表，使用所述乘法結果復用表中的乘法結果；

如果每一對需要對應位置相乘的輸入的特征值索引和權重的特征值索引未存在于所述乘法結果復用表，根據每一對需要對應位置相乘的輸入的特征值索引和權重的特征值索引查找真實值，利用所述真實值進行相乘；

將累加結束的輸出特征值，與輸出碼表項進行對比，將最近接的碼表項的索引輸出，保存在存儲單元。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

若多個多任務神經網絡模型中當前層為首層時，對于所述多個多任務神經網絡模型首層輸入的輸入特征值，與所述特征值碼表進行對應，查找所述輸入特征值的索引。

6.一種用于多任務神經網絡的量化和硬件加速裝置，其特征在于，所述裝置包括：

模型獲取模塊，用于獲取預設的多個多任務神經網絡模型，其中，所述多個多任務神經網絡模型包括的層數一致；

權重提取模塊，用于提取所述多個多任務神經網絡模型中同一層的共享權重，生成對應權重碼表，其中，所述權重碼表包含所述共享權重；

特征值分析模塊，用于獲取所述多個多任務神經網絡模型的訓練樣本，從所述訓練樣本中分析共享特征值，生成對應特征值碼表，其中，所述特征值碼表包含所述共享特征值；

模型加速模塊，用于將所述多個多任務神經網絡模型放入神經網絡加速器硬件中，基于所述權重碼表以及所述特征值碼表對所述多個多任務神經網絡模型進行加速。

7.根據權利要求6所述的裝置，其特征在于，所述權重提取模塊具體用于：

提取所述多個多任務神經網絡模型中同一層的所有權重；

從所述權重中剔除重復權重并協同聚類，得到包含多個多任務神經網絡模型中同一層的共享權重的權重碼表。

8.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

權重聚類模塊，用于針對所述權重碼表中包含的所述共享權重進行聚類，生成多個簇；

針對任一簇，選擇聚類中心代替該簇中包含的權重。