[發明專利]通過高效混合并行化減少深度神經網絡訓練次數

在審

• 申請號: 202011209924.4
• 申請日: 2020-11-03
• 公開（公告）號: CN112836787A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 文穆吉爾·伊蘭戈
• 申請（專利權）人: 百度（美國）有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

提出了自動尋找深度神經網絡(DNN)的有效并行化策略的系統和方法。包括有效排序的頂點序列的計算圖有助于在相對短的時間內計算最佳并行化策略。在各種DNN上評估并行化策略的有效性，并且將由各種實施例提出的策略的性能與數據并行、專家設計的策略和其它現有技術的方法進行比較。實驗結果表明，所提出的策略優于基線數據并行策略，并取得了比專家設計的策略和現有技術的方法更好的性能。

相關申請的交叉引用

本專利申請根據35USC§119(e)涉及并要求2019年11月4日提交的、標題為“REDUCING TRAINING TIMES OF DEEP NEURAL NETWORKS THROUGH EFFICIENT HYBRIDPARALLELISM”的第62/930,518號共同未決和共同擁有的美國專利申請的優先權權益，并將Venmugil Elango列出作為發明人(案號28888-2363P)，該專利文件的全部內容出于所有目的通過引用并入本文。

背景技術

本公開總體上涉及用于計算機學習的、可以提供改進的計算機性能、特征和使用的系統和方法。更具體地，本公開涉及用于通過有效混合并行技術來減少深度神經網絡(DNN)的訓練時間的系統和方法。

DNN在諸如計算機視覺、自然語言處理、推薦系統等多個領域取得了巨大的成功。訓練DNN需要大量的計算和存儲器要求。將多個設備上的訓練并行化以減少訓練時間已經成為標準實踐。有幾種可行的方法來使DNN中的不同層平行化。窮舉搜索該列表以找到最優并行化策略是過于耗時和不切實際的。標準的做法是使用數據并行，因為其簡單性。然而，數據并行通常是次優的，并且受到差的性能和高存儲器要求的困擾。已經利用特定的領域知識在逐個案例的基礎上提出了專家設計的策略。這些專家設計的策略除了能夠很好地推廣到策略設計所針對的DNN外，不能很好地推廣到其他的DNN。

因此，希望提供能夠增加硬件利用率并減少深度神經網絡的訓練時間的更有效的系統和方法。

發明內容

本公開的實施方式提供了包括一個或多個指令序列的非暫時性計算機可讀介質以及用于尋找對深度神經網絡(DNN)的頂點進行并行化以增加所述DNN的硬件利用率并減少所述DNN的訓練時間的有效策略的系統。

在本公開的一方面，提供了一種包括一個或多個指令序列的非暫時性計算機可讀介質，所述一個或多個指令序列在由至少一個處理器執行時實現用于尋找對深度神經網絡(DNN)的層進行并行化以增加所述DNN的硬件利用率并減少所述DNN的訓練時間的有效策略的步驟，所述步驟包括：獲得頂點序列，所述頂點序列中的頂點表示DNN的層，所述頂點序列已根據頂點排序策略排序，使得表示所述DNN的計算圖中的受限鄰居集合的大小得以減小；對于每個頂點，使用遞歸來計算用于對所述DNN的頂點進行并行化的子策略，每個頂點與一個或多個根據成本函數來降低配置成本的有效配置相關聯；和輸出具有用于所述計算圖的最低成本的策略。

在本公開的另一方面，提供了一種包括一個或多個指令序列的非暫時性計算機可讀介質，所述指令序列在由至少一個處理器執行時實現以下步驟，所述步驟用于對深度神經網絡(DNN)的計算圖的頂點進行排序以產生有效的頂點序列，其中，所述頂點序列中的頂點表示DNN的層，進而有效地計算提高所述DNN的硬件利用率和減少所述DNN的訓練時間的最佳策略，所述步驟包括：對于頂點集合中的一個或多個頂點，初始化右相關頂點集合、末端頂點集合和未排序的頂點集合；對于每個頂點，執行以下步驟：從所述未排序的頂點集合中迭代地選擇具有最小右相關集合基數的頂點，并將所選擇的頂點分配給頂點序列；更新所述末端頂點集合和所述右相關頂點集合，使得計算圖中的右相關頂點集合的大小得以正確保持；和輸出所述頂點序列作為有序的頂點序列。