[發明專利]深度神經網絡推理計算中一種基于Profile圖的優化方法

有效

• 申請號: 202011022468.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112149826B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 李春江;夏一民;劉宗林;龔國輝;劉蓬俠;羅恒;王磊;趙祥;徐雪剛
• 申請（專利權）人: 湖南長城銀河科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

本發明提供了一種深度神經網絡推理計算中一種基于Profile圖的優化方法，所述深度神經網絡推理計算中一種基于Profile圖的優化方法包括如下步驟：步驟S1、獲取深度神經網絡推理計算節點的包含計算量和計算時間的Profile信息；步驟S2、將Profile信息與深度神經網絡模型結構描述融合，形成Profile圖：根據深度神經網絡結構描述文件、Profile信息以及計算核心的信息，構建包含計算量、計算時間、計算函數的Profile圖，用于指導計算調度；步驟S3、基于深度神經網絡Profile圖的計算核心調度，實現性能優化。本發明可以對深度神經網絡推理全過程的計算工作負載有更清晰直接的認識，可實現面向具體計算設備計算資源的性能優化調度。

技術領域

本發明涉及深度神經網絡推理計算性能優化技術領域，特別涉及一種基于Profile(剖視)圖的深度神經網絡推理計算性能優化方法。

背景技術

近年來，隨著大數據、計算能力、深度神經網絡算法的發展，深度學習方法已經成為實現人工智能的主要技術途徑。采用深度學習實現人工智能通常需要如下步驟：

1)采集大量應用場景的數據，并對數據集中待識別的對象進行標注；

2)設計深度神經網絡模型；

3)在高性能計算系統上部署深度學習訓練框架，利用步驟1)的大數據訓練步驟2)中深度神經網絡模型的參數數值；

4)利用深度神經網絡模型和訓練得到的參數數值，進行深度神經網絡推理計算，實現智能識別任務。

深度神經網絡推理計算就是利用已經設計好的深度神經網絡模型和訓練得到的模型參數數值，針對待識別場景的數據(在線或離線)，在計算設備上進行推理計算并得到識別結果。

深度神經網絡的推理計算可部署于云端也可部署于終端，在云端場景下，通常實例化多個深度神經網絡推理計算任務，來完成多用戶并發提交的場景數據的目標識別任務；在終端場景下，通常只運行一個深度神經網絡推理計算任務，對連續的或離散的場景數據進行智能識別。無論部署于云端還是終端，深度神經網絡推理計算都涉及大量的數值計算，其性能優化問題一直是一個研究和工程實現的熱點問題。

深度神經網絡的推理計算，輸入包括三類數據：

1)深度神經網絡結構描述，即深度神經網絡模型，它描述了深度神經網絡各個層次所做的計算以及層次間的數據傳播關系。

2)深度神經網絡參數數值，參數數值由訓練得到。

3)待識別數據。

有的訓練框架分別用不同的文件存儲深度神經網絡結構描述和參數數值，如Caffe；有的訓練框架用一個文件同時存儲了深度神經網絡結構描述和參數數值，如TensorFlow。

現有的深度神經網絡結構描述中沒有給出深度神經網絡各個計算步驟(或者說各個網絡層)的計算工作量信息，沒有計算不同計算階段的計算量，也沒有通過試運行來獲得各個計算階段的執行時間，在深度神經網絡推理計算過程中，運行中所需要的計算資源性能不能估算，易對計算資源造成浪費，或因計算資源不足影響計算性能。

發明內容

本發明提供了一種深度神經網絡推理計算中一種基于Profile圖的優化方法，其目的是為了解決背景技術中深度神經網絡推理計算過程中，運行中所需要的計算資源性能不能估算，易對計算資源造成浪費，或因計算資源不足影響計算性能的技術問題。

為了達到上述目的，本發明的實施例提供的一種深度神經網絡推理計算中一種基于Profile圖的優化方法，其特征在于，包括如下步驟：

步驟S1、獲取深度神經網絡推理計算節點的包含計算量和計算時間的Profile信息；