[發明專利]一種基于眾核處理器的神經網絡的映射方法及計算設備

有效

• 申請號: 201910203167.0
• 申請日: 2019-03-18
• 公開（公告）號: CN111723900B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 張偉豪;李涵;裴京
• 申請（專利權）人: 北京靈汐科技有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/063
• 代理公司: 北京麥寶利知識產權代理事務所(特殊普通合伙) 11733
• 代理人: 趙艷紅

本發明提供了一種基于眾核處理器的神經網絡的映射方法及計算設備，該方法包括：獲取待映射神經網絡，對所述待映射神經網絡的所有網絡層按順序進行組合，劃分為多個網絡層組；將所述所有網絡層中的每個網絡層進行拆分，每個所述網絡層包括多層子網絡層；根據預設規則對屬于同一網絡層組中的子網絡層進行融合，得到多個子網絡層組，將所述多個子網絡層組分別映射至預置的眾核處理器的多個內核。基于本發明提供的方法可以分配眾核處理器每個核的計算、存儲、路由等資源，使得神經網絡的運行更加高效的同時，使得眾核處理器各內核負載較傳統方案來講更加均衡，有效提升計算和存儲資源效率。

技術領域

本發明涉及處理器技術領域，特別是涉及一種基于眾核處理器的神經網絡的映射方法及計算設備。

背景技術

隨著人工智能技術在各個領域的不斷應用，各種各樣的運行人工智能算法的硬件平臺應運而生，眾核處理器便是其中之一。神經網絡算法是一種主流的人工智能算法，擁有高計算量、高并行度的特點。這些特點使得神經網絡適合在眾核架構上運行，這也是為什么眾核處理器架構是目前構建神經網絡加速器的一種重要方式。而在神經網絡算法及合適的眾核處理器的基礎上，如何將神經網絡算法映射到處理器上，以及如何分配眾核處理器每個核的計算、存儲、路由等資源，則是亟待解決的問題。

發明內容

鑒于上述問題，本發明提供了一種克服上述問題或至少部分地解決了上述問題的一種基于眾核處理器的神經網絡的映射方法及計算設備。

根據本發明的一個方面，提供了一種基于眾核處理器的神經網絡的映射方法，包括：

獲取待映射神經網絡，對所述待映射神經網絡的所有網絡層按順序進行組合，劃分為多個網絡層組；

將所述所有網絡層中的每個網絡層進行拆分，每個所述網絡層包括多層子網絡層；

根據預設規則對屬于同一所述網絡層組中的子網絡層進行融合，得到多個子網絡層組，將所述多個子網絡層組分別映射至預置的眾核處理器的多個內核。通過對神經網絡進行組內拆分后再進行組內融合并映射至內核，可以在極大減少眾核處理器中各個核之間的路由，進而提升處理器的處理效率。

可選地，所述根據預設規則對屬于同一網絡層組中的子網絡層進行融合，得到多個子網絡層組之后，將所述多個子網絡層組分別映射至預置的眾核處理器的多個內核之前，還包括：

判斷所述子網絡層組包括的網絡層數是否大于第一預設閾值；

若至少一個所述子網絡層組包括的網絡層數大于所述第一預設閾值，則對網絡層數大于所述第一預設閾值的所述子網絡層組所屬的網絡層組重新進行組內拆分。組內融合時，可能由于網絡分組時將一個組分配的過大，組內含有的層數過多，進而超出一個核能負擔的資源上限，此時，通過重新進行分組，減小這一組內網絡層的數量，以實現各核的負載均衡。

可選地，所述將所述多個子網絡層組分別映射至預置的眾核處理器的多個內核之后，還包括：

在所述多個內核中篩選出資源利用率低于預設指標的第一內核，所述第一內核為至少一個；

對所述第一內核對應的子網絡層組再次進行融合得到至少一個第一子網絡層組，將所述第一子網絡層組重新映射至所述眾核處理器的第二內核。經過上述步驟得到若干映射后的核后，其中可能存在資源利用率較低的核，通過將資源利用率較低的核進行再融合，以有效減少處理器運行中調度所需的開銷。

可選地，所述將所述多個子網絡層組分別映射至預置的眾核處理器的多個內核之后，還包括：

判斷所述眾核處理器中是否存在剩余內核；

若存在剩余內核，則獲取所述眾核處理器中資源耗費率大于第二預設閾值的至少一個第三內核；