[發明專利]一種用于多任務神經網絡的量化和硬件加速方法及裝置

在審

• 申請號: 202010552322.2
• 申請日: 2020-06-17
• 公開（公告）號: CN111797984A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 翟乃鵬
• 申請（專利權）人: 寧波物棲科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F7/544;G06F1/03
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙) 11390
• 代理人: 胡劍輝

本發明實施例涉及一種用于多任務神經網絡的量化和硬件加速方法及裝置，所述方法包括：獲取預設的多個多任務神經網絡模型，其中，所述多個多任務神經網絡模型包括的層數一致；提取所述多個多任務神經網絡模型中同一層的共享權重，生成對應權重碼表，其中，所述權重碼表包含所述共享權重；獲取所述多個多任務神經網絡模型的訓練樣本，從所述訓練樣本中分析共享特征值，生成對應特征值碼表，其中，所述特征值碼表包含所述共享特征值；將所述多個多任務神經網絡模型放入神經網絡加速器硬件中，基于所述權重碼表以及所述特征值碼表對所述多個多任務神經網絡模型進行加速。

技術領域

本發明實施例涉及深度神經網絡模型的硬件加速領域，尤其涉及一種用于多任務神經網絡的量化和硬件加速方法及裝置。

背景技術

深度神經網絡在圖像處理、語音識別、自然語言處理等任務中取得了很好的效果，同時在終端設備和云端數據中心等場景中被廣泛應用，并且出現了很多用于加速深度神經網絡的專有硬件設計，即神經網絡加速器。深度神經網絡模型通常具有龐大的參數量以及計算量，且乘加運算占據了計算量中的絕大部分，因此，神經網絡加速器中通常使用陣列式的乘加器(MAC，multiply and accumulate)來提高運算并行度。除此之外，神經網絡加速器還通常使用稀疏計算方法和去除冗余計算的方式提高神經網絡加速器的運行效率，稀疏計算方法利用神經網絡參數和激活值稀疏(非零值較少)的特性，跳過對不影響結果的零值的計算，降低神經網絡模型的計算量和存儲量，而去除冗余計算的主要思路是找到神經網絡中有可能經常出現同樣計算的位置，通過保存計算結果來跳過神經網絡中重復的計算，即減少了運算次數，可以降低計算單元的功耗。

神經網絡模型的訓練過程中，通常使用32bit浮點數(fp32)保存模型的參數和激活值，但浮點數的保存、傳輸、運算都會帶來比定點數更大的硬件開銷。因此，出現了一些將神經網絡中的浮點數據表示轉化為低精度整型數據的方法，即量化。當前商業產品中已經證明通常使用8bit整型數代替32bit浮點數對神經網絡模型精度幾乎沒有損失，且具有較好的普適性，對于較多模型適用，而學術界的一些成果中也表明更低精度如4bit、2bit甚至1bit的二值數據類型也可以在不明顯損失模型精度的同時大幅降低模型大小。

隨著智能設備的發展，對周邊場景信息提取、交互的需求越來越高，多任務神經網絡漸漸出現，成為AI應用的新趨勢。例如自動駕駛技術使用攝像頭對周圍路況信息進行采集分析，通常需要用于目標識別和自動避障的物體檢測模塊，用于區分道路/非道路的語義分割模塊，用于跟蹤持續移動的物體軌跡的物體跟蹤模塊等。由于這些協同使用的神經網絡的功能有相似之處，訓練這些神經網絡時可以通過共享網絡結構、共享參數(權重)等方法，在不影響網絡精度的同時降低模型大小。

發明內容

鑒于此，為解決現有技術中的問題，本發明實施例提供了一種用于多任務神經網絡的量化和硬件加速方法及裝置。

第一方面，本發明實施例提供了一種用于多任務神經網絡的量化和硬件加速方法，所述方法包括：

獲取預設的多個多任務神經網絡模型，其中，所述多個多任務神經網絡模型包括的層數一致；

提取所述多個多任務神經網絡模型中同一層的共享權重，生成對應權重碼表，其中，所述權重碼表包含所述共享權重；

獲取所述多個多任務神經網絡模型的訓練樣本，從所述訓練樣本中分析共享特征值，生成對應特征值碼表，其中，所述特征值碼表包含所述共享特征值；

將所述多個多任務神經網絡模型放入神經網絡加速器硬件中，基于所述權重碼表以及所述特征值碼表對所述多個多任務神經網絡模型進行加速。

在一個可能的實施方式中，所述提取所述多個多任務神經網絡模型中同一層的共享權重，生成對應權重碼表，包括：

提取所述多個多任務神經網絡模型中同一層的所有權重；