[發明專利]一種基于分區域梯度更新的神經網絡訓練過程中間值存儲壓縮方法和裝置

在審

• 申請號: 202010317520.0
• 申請日: 2020-04-21
• 公開（公告）號: CN111783977A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 楊侃;袁之航;孫廣宇;汪小林;羅英偉
• 申請（專利權）人: 北京大學;鵬城實驗室
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明涉及一種基于分區域梯度更新的神經網絡訓練過程中間值存儲壓縮方法和裝置。該方法在神經網絡訓練的前向傳播過程中將特定區域的輸入激活值保存在內存中；在神經網絡訓練的反向傳播過程中利用保存的特定區域的輸入激活值計算梯度，以更新神經網絡的權重參數。所述區域是在輸入激活值的長度和寬度方向上劃分的區域。通過分塊步長和網絡稠密度確定所述特定區域，首先根據分塊步長對輸入激活值劃分區域，并確定區域起始位置，然后根據網絡稠密度確定保留區域總數。本發明對神經網絡訓練時需要保存的激活值進行存儲優化，能夠大幅降低內存成本，提高訓練深度更深、規模更大的神經網絡的能力，同時也可以在內存受限的設備上在線訓練網絡。

技術領域

本發明涉及神經網絡訓練過程中的中間值存儲壓縮方法和裝置，屬于人工智能和存儲領域。

背景技術

在過去幾年中，深度卷積神經網絡處理各種視覺任務的性能得到了大幅度的提升。在大多數情況下，越先進的神經網絡，其深度也會越深。例如在各種計算機視覺處理任務中表現出色的深度殘差神經網絡。對深度殘差神經網絡而言，關鍵的創新點是殘差塊。通過殘差塊，神經網絡訓練過程中前面的信息可以直接傳遞到后面的部分，從而使得反向傳播過程中梯度不會因為網絡過深而消失。這一結構的出現使得我們可以訓練具有上百層結構的神經網絡，深度大幅增加對網絡處理各種任務的精確度有顯著的提升。

反向傳播是現代神經網絡訓練的基礎。由于反向傳播過程中計算梯度值需要網絡激活值，所以神經網絡需要將網絡激活值存儲在內存中，以便于進行計算，內存成本與網絡中的單元數成正比。這意味著隨著網絡深度的增加和規模的擴大，存儲激活值需要更大的內存空間，這已經成為了許多應用程序的瓶頸。以神經網絡訓練時常用的圖形處理單元(GPU)為例，部分性能顯著的神經網絡深度達到一千層以上，存儲要求經常超出GPU顯存限制。訓練這些大型網絡可能需要跨多個GPU并行處理，實現復雜且成本昂貴。同時由于內存的限制，現代神經網絡通常以mini-batch的方式進行訓練，這對于隨機梯度下降法而言效率很低。減少存儲激活值的內存成本能有效提高訓練深度更深、規模更大的神經網絡的能力。

發明內容

本發明的目的是提出一種針對神經網絡訓練時需要存儲的中間值的存儲壓縮方法和裝置，以降低訓練時的內存成本，同時可以在內存受限的設備上進行在線訓練。

本發明采用的技術方案如下：

一種基于分區域梯度更新的神經網絡訓練過程中間值存儲壓縮方法，包括以下步驟：

在神經網絡訓練的前向傳播過程中，將特定區域的輸入激活值保存在內存中；

在神經網絡訓練的反向傳播過程中，利用保存的特定區域的輸入激活值計算梯度，以更新神經網絡的權重參數。

進一步地，所述區域是在輸入激活值的長度和寬度方向上劃分的區域。

進一步地，通過兩個超參數確定所述特定區域，所述兩個超參數為分塊步長和網絡稠密度。

進一步地，確定所述特定區域的步驟包括：

根據分塊步長對輸入激活值劃分區域，并確定區域起始位置；

根據網絡稠密度確定保留區域總數。

進一步地，根據訓練時批數據的編號確定所述區域起始位置。

進一步地，所述區域起始位置等于批數據編號與劃分區域的總數取模后的結果，以在整個訓練過程中依次遍歷每個區域。

進一步地，所述根據網絡稠密度確定保留區域總數，包括：當區域起始位置的編號與保留區域總數之和大于劃分的區域總數時，超出的部分從編號為0的區域開始，依次向后取值，直到實際保留區域數等于保留區域總數為止。

一種基于分區域梯度更新的神經網絡訓練過程中間值存儲壓縮裝置，其包括：