[發明專利]一種深度學習的參數交換方法、裝置、服務器及存儲介質

有效

• 申請號: 201810864755.4
• 申請日: 2018-08-01
• 公開（公告）號: CN109214512B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 嚴歡;夏正勛;呂阿斌
• 申請（專利權）人: 中興飛流信息科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 上海晨皓知識產權代理事務所(普通合伙) 31260
• 代理人: 成麗杰

本發明實施例涉及工智能技術領域，公開了一種深度學習的參數交換方法、裝置、服務器及存儲介質。本發明中，包括：獲取匹配的訓練數據；根據匹配的訓練數據和已知的第一權值進行訓練，獲得第一訓練參數；將第一訓練參數壓縮后與其它處理器進行交換獲得第二訓練參數。在利用處理器對深度學習網絡進行訓練時，通過獲取匹配的訓練數據和已知的第一權值進行訓練，獲得第一訓練參數，將第一訓練參數壓縮后與其它處理器進行交換獲得第二訓練參數，通過壓縮后再進行傳輸的方式提高了處理器之間進行參數交換的速度，從而節省了參數交換時所耗費的時長。

技術領域

本發明實施例涉及人工智能技術領域，特別涉及一種深度學習的參數交換方法、裝置、服務器及存儲介質。

背景技術

深度學習網絡是近年來機器學習領域中的研究熱點，在各個行業產生了廣泛的應用。深度學習網絡具有深層結構、數千萬參數需要學習，這導致非常耗時。圖像處理器(Graphics Processing Unit，GPU)有強大的計算能力，適合于加速深度學習網絡訓練。目前用于深度學習網絡的加速方式主要有數據并行和模型并行兩種，并且現在主流的計算框架一般都支持數據并行方式。數據并行方式下每個GPU設備訓練多次迭代，需要將參數交換到其它GPU設備上，所以如何提高單節點多GPU以及多節點多GPU的參數交換的效率成為重點。

發明人發現現有技術中至少存在如下問題：現有技術中在根據數據集進行訓練時，一般采用同步或者異步的方式進行參數交換，提高參數交換的性能，但每次都需要交換模型的全部參數，如果在模型較大的情況下，尤其是在跨節點通過網絡來進行交換的情況下，交換所耗費的時長會成為整個模型訓練的瓶頸。

發明內容

本發明實施方式的目的在于提供一種深度學習的參數交換方法、裝置、服務器及存儲介質，使得利用處理器對深度學習網絡進行訓練時，提高了處理器之間進行參數交換的速度，從而節省了參數交換時所耗費的時長。

為解決上述技術問題，本發明的實施方式提供了一種深度學習的參數交換方法，包括以下步驟：獲取匹配的訓練數據；根據匹配的訓練數據和已知的第一權值進行訓練，獲得第一訓練參數；將第一訓練參數壓縮后與其它處理器進行交換獲得第二訓練參數。

本發明的實施方式還提供了一種參數交換裝置，包括：獲取模塊，用于獲取匹配的訓練數據；訓練模塊，用于根據匹配的訓練數據和第一權值進行訓練，獲得第一訓練參數；參數交換模塊，用于將第一訓練參數壓縮后進行交換獲得第二訓練參數。

本發明的實施方式還提供了一種服務器，包括：至少一個處理器；以及，與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行上述的深度學習的參數交換方法。

本發明的實施方式還提供了一種計算機可讀存儲介質，存儲有計算機程序，計算機程序被處理器執行時實現上述的深度學習的參數交換方法。

本發明實施方式相對于現有技術而言，在利用處理器對深度學習網絡進行訓練時，通過獲取匹配的訓練數據和已知的第一權值進行訓練，獲得第一訓練參數，將第一訓練參數壓縮后與其它處理器進行交換獲得第二訓練參數，通過壓縮后再進行傳輸的方式提高了處理器之間進行參數交換的速度，從而節省了參數交換時所耗費的時長。

另外，將第一訓練參數壓縮后與其它處理器進行交換獲得第二訓練參數，包括：將第一訓練參數壓縮后發送給同一節點內除自己外的每一個處理器，同時接收同一節點內除自己外的每一個處理器發送的壓縮后的第三訓練參數；將壓縮后的第一訓練參數和接收的壓縮后的第三訓練參數進行相加求平均值，獲得第二訓練參數。同一節點內的處理器在進行參數交換時將壓縮后的第一訓練訓練參數發送給其它處理器，同時接收其它處理器壓縮后的第一訓練參數，由于處理器之間在進行參數交換時是將數據壓縮后再進行的傳輸，因此減少了處理器所需要處理的數據量，從而提高了處理器之間進行參數交換的速度。