[發明專利]一種深度學習模型推理期加速方法、裝置及系統

有效

• 申請號: 201810685004.6
• 申請日: 2018-06-27
• 公開（公告）號: CN109034371B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 曹松;魏漢秦;林宇;陶海
• 申請（專利權）人: 北京文安智能技術股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種深度學習模型推理期加速方法，其特征在于，包括：

獲取優化深度學習模型及待處理圖像數據；所述優化深度學習模型帶有優化合并參數；

通過帶有所述優化合并參數的優化深度學習模型對所述待處理圖像數據進行數據處理；

將所述數據處理后的圖像數據輸出；該方法還包括：

獲取待優化的卷積神經網絡模型及其訓練數據；其中，所述待優化的卷積神經網絡模型帶有“批歸一化”結構；

通過所述訓練數據，對所述待優化的卷積神經網絡模型進行優化，獲取第一模型；

獲取所述第一模型中對應的卷積與“批歸一化”參數以及優化合并方式；

根據所述優化合并方式，合并所述第一模型中對應的卷積與“批歸一化”參數，并獲取所述優化深度學習模型；所述優化合并參數為優化卷積參數；在所述優化深度學習模型中，所述優化卷積參數對應的卷積計算單元在數據處理過程中進行卷積運算，去掉了“批歸一化”計算單元。

2.根據權利要求1所述的深度學習模型推理期加速方法，其特征在于，所述優化卷積參數包括：優化卷積權重參數和優化卷積偏置參數

3.根據權利要求2所述的深度學習模型推理期加速方法，其特征在于，所述優化合并方式為：

其中，為第一模型的卷積權重參數，k'對應輸出的第k'個通道，k對應輸入的第k個通道；b^k′為第一模型的卷積偏置參數，k'對應輸出的第k'個通道；為第一模型的線性變換尺度參數，k'對應輸出的第k'個通道；為第一模型的線性變換移位參數，k'對應輸出的第k'個通道。

4.一種深度學習模型推理期加速裝置，其特征在于，包括：

信息獲取單元，用于獲取優化深度學習模型及待處理圖像數據；所述優化深度學習模型帶有優化合并參數；

數據處理單元，用于通過帶有所述優化合并參數的優化深度學習模型對所述待處理圖像數據進行數據處理；

數據傳輸單元，用于將所述數據處理后的圖像數據輸出；該裝置還包括：

訓練信息獲取單元，用于獲取待優化的卷積神經網絡模型及其訓練數據；其中，所述待優化的卷積神經網絡模型帶有“批歸一化”結構；

優化單元，用于通過所述訓練數據，對所述待優化的卷積神經網絡模型進行優化，獲取第一模型；

參數信息獲取單元，用于獲取所述第一模型中對應的卷積與“批歸一化”參數以及優化合并方式；

參數合并單元，用于根據所述優化合并方式，合并所述第一模型中對應的卷積與“批歸一化”參數，并獲取所述優化深度學習模型；

所述優化合并參數為優化卷積參數；在所述優化深度學習模型中，所述優化卷積參數對應的卷積計算單元在數據處理過程中進行卷積運算，去掉了“批歸一化”計算單元。

5.根據權利要求4所述的深度學習模型推理期加速裝置，其特征在于，所述優化卷積參數包括：優化卷積權重參數和優化卷積偏置參數

所述優化合并方式為：

其中，為第一模型的卷積權重參數，k'對應輸出的第k'個通道，k對應輸入的第k個通道；b^k′為第一模型的卷積偏置參數，k'對應輸出的第k'個通道；為第一模型的線性變換尺度參數，k'對應輸出的第k'個通道；為第一模型的線性變換移位參數，k'對應輸出的第k'個通道。

6.一種深度學習模型推理期加速系統，其特征在于，包括：如權利要求4或5所述深度學習模型推理期加速裝置。

7.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序；其特征在于，所述處理器執行所述程序時實現如權利要求1-3任一項所述的深度學習模型推理期加速方法。

8.一種計算機可讀存儲介質，用于存儲計算機程序，其特征在于，所述計算機程序可被處理器執行如權利要求1-3任一項所述的深度學習模型推理期加速方法。