[發明專利]多精度神經網絡模型實現方法及系統

有效

• 申請號: 202110753398.6
• 申請日: 2021-07-02
• 公開（公告）號: CN113469349B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 鮑丹;季圣潔;沈沙
• 申請（專利權）人: 上海酷芯微電子有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 黃磊;郭國中

1.一種多精度神經網絡模型實現方法，其特征在于，包括：

生成步驟：獲取硬件加速器的算子約束條件，生成多精度神經網絡模型的計算圖算子配置信息；

對應關系確認步驟：對多精度神經網絡模型進行結構分析，結合所述計算圖算子配置信息得到不同數值精度與計算圖算子的對應關系；

調整步驟：根據不同數值精度與計算圖算子的對應關系，對多精度神經網絡模型的參數進行調整，獲取多精度神經網絡模型在降低數值精度后的性能補償；

配置生成步驟：根據參數調整后的多精度神經網絡模型，產生各層次配置信息，根據各層次配置信息將多精度神經網絡模型部署到所述硬件加速器；

所述生成步驟包括：

根據所述硬件加速器的算子數值精度約束條件，生成多精度神經網絡模型計算圖算子配置信息。

2.根據權利要求1所述的多精度神經網絡模型實現方法，其特征在于，所述對應關系確認步驟包括：

對多精度神經網絡模型進行結構分析，生成多精度神經網絡模型的結構信息；

根據所述計算圖算子配置信息和所述結構信息，生成計算圖算子與數值精度的對應關系。

3.根據權利要求1所述的多精度神經網絡模型實現方法，其特征在于，對多精度神經網絡模型的參數進行調整的方法包括：重新訓練方式或統計分析方式；

對于重新訓練方式，根據計算圖算子與算子數值精度對應關系增加訓練節點到計算圖中，所述計算圖包括框架構建，所述訓練節點包括采用算子構建；

對于統計分析方式，根據計算圖算子與算子數值精度對應關系增加統計節點到計算圖中，所述統計節點包括采用統計量構建；或者，不增加統計節點到計算圖中，直接采用獨立于計算圖的分析。

4.根據權利要求1所述的多精度神經網絡模型實現方法，其特征在于，所述配置生成步驟包括：

對調整好模型參數的多精度神經網絡模型，格式化生成各層次的配置信息，所述配置信息格式來自于所述硬件加速器的需求。

5.一種多精度神經網絡模型實現系統，其特征在于，包括：

生成模塊：獲取硬件加速器的算子約束條件，生成多精度神經網絡模型的計算圖算子配置信息；

對應關系確認模塊：對多精度神經網絡模型進行結構分析，結合所述計算圖算子配置信息得到不同數值精度與計算圖算子的對應關系；

調整模塊：根據不同數值精度與計算圖算子的對應關系，對多精度神經網絡模型的參數進行調整，獲取多精度神經網絡模型在降低數值精度后的性能補償；

配置生成模塊：根據參數調整后的多精度神經網絡模型，產生各層次配置信息，根據各層次配置信息將多精度神經網絡模型部署到所述硬件加速器；

所述生成模塊包括：

根據所述硬件加速器的算子數值精度約束條件，生成多精度神經網絡模型計算圖算子配置信息。

6.根據權利要求5所述的多精度神經網絡模型實現系統，其特征在于，所述對應關系確認模塊包括：

對多精度神經網絡模型進行結構分析，生成多精度神經網絡模型的結構信息；

根據所述計算圖算子配置信息和所述結構信息，生成計算圖算子與數值精度的對應關系。

7.根據權利要求5所述的多精度神經網絡模型實現系統，其特征在于，對多精度神經網絡模型的參數進行調整的方法包括：重新訓練方式或統計分析方式；

對于重新訓練方式，根據計算圖算子與算子數值精度對應關系增加訓練節點到計算圖中，所述計算圖包括框架構建，所述訓練節點包括采用算子構建；

對于統計分析方式，根據計算圖算子與算子數值精度對應關系增加統計節點到計算圖中，所述統計節點包括采用統計量構建；或者，不增加統計節點到計算圖中，直接采用獨立于計算圖的分析。

8.根據權利要求5所述的多精度神經網絡模型實現系統，其特征在于，所述配置生成模塊包括：

對調整好模型參數的多精度神經網絡模型，格式化生成各層次的配置信息，所述配置信息格式來自于所述硬件加速器的需求。