[發明專利]一種用于圖像分類的深度神經網絡的訓練方法

有效

• 申請號: 201811389548.4
• 申請日: 2018-11-21
• 公開（公告）號: CN109635945B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 蔣文斌;金海;馬陽;祝簡;劉博;劉湃;彭晶
• 申請（專利權）人: 華中科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06V10/764
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

1.一種用于圖像分類的深度神經網絡的訓練方法，其特征在于，該方法中包括以下步驟：

S1.使用圖像訓練集訓練深度神經網絡，在訓練的第一次迭代過程中，計算各隱藏層特征圖的遷移成本和計算成本；

S2.基于各隱藏層特征圖的遷移成本和計算成本之間的大小關系，將深度神經網絡中的隱藏層分為計算敏感型層和遷移敏感型層兩種類型，初始化迭代次數k＝2；

S3.在第k次迭代的前向傳播過程中，采用遷移方式將計算敏感型層的特征圖從GPU內存傳輸至輔存中，直接丟棄遷移敏感型層的特征圖；

S4.在第k次迭代的后向傳播過程中，采用反遷移方式將計算敏感型層的特征圖從輔存傳輸至GPU內存中，采用重新計算方式將遷移敏感型層的特征圖恢復出來，同時采用引用計數的方式控制隱藏層梯度圖的回收；

S5.判斷是否滿足迭代結束條件，若是，則結束訓練，否則，k加1，返回步驟S3。

2.如權利要求1所述的訓練方法，其特征在于，遷移是指隱藏層特征圖從GPU內存傳輸至輔存中，所述遷移成本是指隱藏層特征圖完成一次遷移所花費的時間，所述計算成本是指隱藏層特征圖完成一次前向計算所花費的時間，所述輔存為與GPU在同一個服務器上的CPU內存。

3.如權利要求1所述的訓練方法，其特征在于，深度神經網絡中各隱藏層特征圖的計算成本的計算方式如下：對深度神經網絡進行m次前向計算，獲取第j次前向計算過程中第i層的計算時間由計算出第i層的單次前向計算時間；深度神經網絡中各隱藏層特征圖的遷移成本的計算方式如下：對深度神經網絡中各隱藏層特征圖進行M次遷移，獲取第j次數據傳輸第i層的遷移時間由計算出第i層的單次遷移時間，其中，i為深度神經網絡中的隱藏層層索引，i∈[1,n]，n為該深度神經網絡隱藏層的總層數。

4.如權利要求1所述的訓練方法，其特征在于，步驟S2具體為：比較第i層的單次前向計算時間和單次遷移時間，若F_i＞T_i，則該層為計算敏感型層；否則，該層為遷移敏感型層，其中，F_i為第i層的單次前向計算時間，T_i為第i層的單次遷移時間。

5.如權利要求1所述的訓練方法，其特征在于，步驟S3包括以下子步驟：

S301.在前向傳播過程中，針對計算敏感型層h_i，使用流水線并行的方式，將其特征圖由GPU內存異步傳輸至輔存中，所述流水線并行是指h_i層的數據傳輸與h_i+1層的前向計算并行，i為深度神經網絡中的隱藏層層索引，i∈[1,n-1]；

S302.在前向傳播過程中，針對遷移敏感型層h_j，在該層的前向計算完成后，直接丟棄其特征圖，j為深度神經網絡中的隱藏層層索引，j∈[1,n]，n為該深度神經網絡隱藏層的總層數。