[發明專利]一種神經網絡運行方法、裝置及異構智能芯片

有效

• 申請號: 201810757736.1
• 申請日: 2018-07-11
• 公開（公告）號: CN110717574B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 丁健
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/063
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種神經網絡運行方法，其特征在于，所述方法用于異構智能芯片，所述異構智能芯片中集成有不同指令集合體系架構的多個處理器核心，至少包括集成有多個計算核心，所述方法包括：

獲取待運行的神經網絡；

對所述神經網絡進行網絡層劃分，得到所述神經網絡的多個待運行層；其中，根據網絡層的復雜程度，將相連的計算相關的多個網絡層劃分為一個待運行層，或者將所述神經網絡中的每一個網絡層劃分為一個待運行層；

針對各待運行層，確定滿足預設運行條件的計算核心，以使各計算核心按照預設運行順序運行各待運行層；

所述針對各待運行層，確定滿足預設運行條件的計算核心，包括：

判斷當前待運行層是否已完成運行；

若所述當前待運行層未完成運行，則獲取所述當前待運行層的運算規則；基于所述運算規則，確定具有與所述運算規則相應的運行條件的計算核心；發送所述當前待運行層至所述計算核心，以使所述計算核心運行所述當前待運行層，其中，所述預設運行條件包括：運算速度、運算步長、響應時間；

在所述對所述神經網絡進行網絡層劃分，得到所述神經網絡的多個待運行層之后，所述方法還包括：

通過分析得到各待運行層的計算量，并判斷各待運行層的計算量是否大于預設閾值；

針對計算量大于所述預設閾值的待運行層，將所述待運行層依據數據對齊特征拆分為并行運行的多個并行子層；所述異構智能芯片的一個計算核心對應運行一個子層；

所述針對各待運行層，確定滿足預設運行條件的計算核心，包括：

判斷當前待運行層是否已完成運行；

若所述當前待運行層未完成運行，則獲取所述當前待運行層中各未運行的子層的運算規則；基于各運算規則，確定具有與該運算規則相應的運行條件的計算核心；發送各未運行的子層至相應的各計算核心，以使各計算核心運行各未運行的子層。

2.根據權利要求1所述的方法，其特征在于，所述獲取待運行的神經網絡，包括：

按照預設網絡優先級，從待運行的多個神經網絡中獲取優先級最高的神經網絡。

3.根據權利要求1所述的方法，其特征在于，所述對所述神經網絡進行網絡層劃分，得到所述神經網絡的多個待運行層，包括：

基于所述神經網絡中網絡層的數目，對所述神經網絡進行劃分，得到多個待運行層。

4.一種神經網絡運行裝置，其特征在于，所述裝置中集成有異構智能芯片，所述異構智能芯片中集成集成有不同指令集合體系架構的多個處理器核心，至少包括有多個計算核心，所述裝置包括：

獲取模塊，用于獲取待運行的神經網絡；

網絡解析模塊，用于對所述神經網絡進行網絡層劃分，得到所述神經網絡的多個待運行層；其中，根據網絡層的復雜程度，將相連的計算相關的多個網絡層劃分為一個待運行層，或者將所述神經網絡中的每一個網絡層劃分為一個待運行層；

調度器模塊，用于針對各待運行層，確定滿足預設運行條件的計算核心，以使各計算核心按照預設運行順序運行各待運行層；

所述調度器模塊，具體用于：

判斷當前待運行層是否已完成運行；

若所述當前待運行層未完成運行，則獲取所述當前待運行層的運算規則；基于所述運算規則，確定具有與所述運算規則相應的運行條件的計算核心；發送所述當前待運行層至所述計算核心，以使所述計算核心運行所述當前待運行層，其中，所述預設運行條件包括：運算速度、運算步長、響應時間；

層拆分模塊，用于通過分析得到各待運行層的計算量，并判斷各待運行層的計算量是否大于預設閾值；針對計算量大于所述預設閾值的待運行層，將所述待運行層依據數據對齊特征拆分為并行運行的多個并行子層；所述異構智能芯片的一個計算核心對應運行一個子層；

所述調度器模塊，具體用于：

判斷當前待運行層是否已完成運行；

若所述當前待運行層未完成運行，則獲取所述當前待運行層中各未運行的子層的運算規則；基于各運算規則，確定具有與該運算規則相應的運行條件的計算核心；發送各未運行的子層至相應的各計算核心，以使各計算核心運行各未運行的子層。

5.根據權利要求4所述的裝置，其特征在于，所述獲取模塊，具體用于：

按照預設網絡優先級，從待運行的多個神經網絡中獲取優先級最高的神經網絡。