[發明專利]確定硬件運算平臺分配方式的方法和裝置

有效

• 申請號: 201911292959.6
• 申請日: 2019-12-16
• 公開（公告）號: CN112988372B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 韓新承
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/0464;G06N3/048;G06N3/08;G06N20/10
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李珂珂

本公開是關于一種確定硬件運算平臺分配方式的方法和裝置，屬于機器學習模型應用技術領域。所述方法包括：確定待運行的機器學習模型中包括的多個計算節點；獲取多個計算節點對應的多組樣本平臺配置信息；對于每組樣本平臺配置信息，基于樣本平臺配置信息控制將多個計算節點分配到各硬件運算平臺，控制各硬件運算平臺執行分配到的各計算節點，統計各硬件運算平臺執行多個計算節點的總執行時長，作為樣本平臺配置信息對應的總執行時長；基于多組樣本平臺配置信息和分別對應的總執行時長，確定優化平臺配置信息。采用本公開，可以保證異構硬件設備能夠以較短的整體執行時長快速運行機器學習模型對應的運行代碼。

技術領域

本公開是關于機器學習模型應用技術領域，尤其是關于一種確定硬件運算平臺分配方式的方法和裝置。

背景技術

隨著科技的發展，機器學習模型應用到越來越多的技術領域。機器學習模型實際中可以采用深度學習框架進行描述，如Pytorch深度學習框架。通過深度學習框架對機器學習模型進行描述可以得到機器學習模型對應的模型數據。基于模型數據進行編譯操作，能夠得到機器學習模型對應的運行代碼。可以為機器學習模型選擇一個用于執行運行代碼的硬件設備，將機器學習模型對應的運行代碼下載到該硬件設備中，該硬件設備完成實際執行過程。

相關技術中，硬件設備可以是異構硬件設備，異構硬件設備中一般包括不同類型的硬件運算平臺，如ARM CPU(Advanced RISC Machines Central Processing Unit，精簡指令集中央處理器)、DSP(Digital Signal Processing，數字信號處理器)、NN(NeuralNetwork，神經網絡)硬核處理器等硬件運算平臺。機器學習模型可以包括多個計算節點，每個計算節點對應一個機器學習模型中的網絡層(如卷積層、池化層、全連接層等)，可以將機器學習模型對應的運行代碼拆分成各計算節點分別對應的子運行代碼進行執行。前面介紹到的NN硬核處理器中會設置有乘累加硬件運算電路陣列，在該乘累加硬件運算電路陣列中能夠快速進行乘累加類型的運算。機器學習模型中的卷積層就要進行多次乘累加計算，因此如果將卷積層對應的子運行代碼分配到NN硬核處理器中執行，則執行時長會比較短。這里只是通過NN硬核處理器和卷積層舉了一個簡單的例子，理論上不同的計算節點在異構硬件設備中對應有最為匹配的硬件運算平臺，一個計算節點與一個硬件運算平臺是否匹配主要與計算節點的運算類型、硬件運算平臺底層執行指令的邏輯和硬件運算平臺的物理硬件電路結構相關。

如果將要運行機器學習模型對應的運行代碼的硬件設備是異構硬件設備，技術人員一般則會手動為每個計算節點的子運行代碼分配一個用于執行它的硬件運算平臺。配置硬件運算平臺的自由度較高，技術人員完全是憑借個人的經驗為每個計算節點的子運行代碼分配硬件運算平臺的。如果技術人員能夠為每個計算節點都分配上較為匹配的硬件運算平臺，則最終異構硬件設備運行機器學習模型對應的運行代碼的整體執行時長就比較短。

在實現本公開的過程中，發明人發現至少存在以下問題：

由于技術人員完全是憑借個人的經驗為每個計算節點的子運行代碼分配硬件運算平臺的，因此不能保證分配的合理性，進而就無法保證異構硬件設備能夠以較短的整體執行時長快速運行機器學習模型對應的運行代碼。

發明內容

為了克服相關技術中存在的問題，本公開提供了以下技術方案：

根據本公開實施例的第一方面，提供一種確定硬件運算平臺分配方式的方法，所述方法包括：

確定待運行的機器學習模型中包括的多個計算節點，其中，每個計算節點對應所述機器學習模型中的一個網絡層；

獲取所述多個計算節點對應的多組樣本平臺配置信息，其中，每組樣本平臺配置信息對應一種將所述多個計算節點分配到多個預設的硬件運算平臺的分配方式；