[發明專利]一種混合算子模型并行訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202211143025.8
• 申請日: 2022-09-20
• 公開（公告）號: CN115481729A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 任智祥;任一銘;田永鴻;高文
• 申請（專利權）人: 鵬城實驗室
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 溫宏梅

本發明涉及圖像處理技術領域，具體是涉及一種混合算子模型并行訓練方法、裝置、設備及存儲介質。本發明首先將混合算子模型分割成支路模型，即將混合算子模型化整為零，然后將在每個訓練節點上訓練一個支路模型，使得各個訓練節點同時并行訓練各個支路模型，最后將各個支路模型的輸出結果進行匯總，得到混合算子模型的整體輸出結果，根據該整體輸出結果調整模型參數，完成模型訓練。從上述分析可知，本發明通過在各個訓練節點上訓練各個支路模型實現了并行訓練，而并行訓練能夠節省訓練時間，以提高訓練速度，使得混合算子模型快速收斂。

技術領域

本發明涉及圖像處理技術領域，具體是涉及一種混合算子模型并行訓練方法、裝置、設備及存儲介質。

背景技術

采用大量的訓練數據對混合算子模型進行訓練，訓練之后的混合算子模型可以用于提取圖像特征，比如卷積和自注意力機制是深度神經網絡(混合算子模型)中的兩個基本模塊，前者以線性方式提取圖像的局部特征，而后者通過非局部特征編碼高階上下文關系。由于二者本質上互補，因此可以推導出全局卷積和自注意力機制所構成的混合近似算子，能夠統一局部和非局部特征交互，使其同時在視覺和語言任務上實現極具競爭力的性能。視覺Transformer模型通過使用結合卷積與自注意力機制的混合算子，在圖像分類、目標識別等傳統視覺任務中取得了超越卷積神經網絡的卓越性能。然而隨著模型規模的提升，對訓練模型的節點提出更高的要求?，F有技術采用將混合算子模型整體放在單節點上進行訓練，導致需要大量的時間才能完成對模型的訓練。

綜上所述，現有技術訓練混合算子模型的方法導致訓練速度較慢。

因此，現有技術還有待改進和提高。

發明內容

為解決上述技術問題，本發明提供了一種混合算子模型并行訓練方法、裝置、設備及存儲介質，解決了現有技術訓練混合算子模型的方法導致訓練速度較慢的問題。

為實現上述目的，本發明采用了以下技術方案：

第一方面，本發明提供一種混合算子模型并行訓練方法，其中，包括：

將混合算子模型劃分為各個支路模型；

控制各個訓練節點并行運行各個所述支路模型，得到各個所述支路模型的支路輸出結果，所述訓練節點為用于訓練所述混合算子模型的計算機硬件；

依據各個所述支路模型的支路輸出結果，完成所述混合算子模型的訓練。

在一種實現方式中，所述將混合算子模型劃分為各個支路模型，包括：

依據所述混合算子模型，得到所述混合算子模型所涵蓋的依次連接的卷積層、自注意力網絡、全連接網絡，所述卷積層包含若干個卷積核，所述自注意力網絡包含若干個自注意力層；

將所述卷積層的若干個卷積核、所述自注意力網絡的若干個自注意力層、所述全連接網絡的若干個全連接層劃分為各個支路模型，各個所述支路模型分別均包括所述卷積核、所述自注意力層、所述全連接層。

在一種實現方式中，所述控制各個訓練節點并行運行各個所述支路模型，得到各個所述支路模型的支路輸出結果，所述訓練節點為用于訓練所述混合算子模型的計算機硬件，包括：

將訓練輸入數據輸入至各個所述支路模型的卷積核，控制各個所述訓練節點并行運行各個所述卷積核，得到各個所述卷積核的輸出結果；

依據各個所述卷積核的輸出結果，控制各個所述訓練節點并行運行各個所述支路模型的自注意力層，得到各個所述自注意力層的輸出結果；

依據各個所述自注意力層的輸出結果，控制各個所述訓練節點并行運行各個所述支路模型的全連接層，得到各個支路輸出結果中的各個所述全連接層的輸出結果，一個所述支路模型上的所述全連接層、所述自注意力層、所述卷積核位于同一個所述訓練節點上。