[發明專利]確定邏輯核布局的方法、模型訓練方法、電子設備、介質

在審

• 申請號: 202011141034.4
• 申請日: 2020-10-22
• 公開（公告）號: CN112257848A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 鄧磊;李涵;施路平
• 申請（專利權）人: 北京靈汐科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/06;G06N3/08;G06F15/78
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;姜春咸

本公開提供了一種確定邏輯核布局的方法，用于將具有確定拓撲的多個邏輯核布局到具有確定拓撲的多個物理核，所述方法包括：基于強化學習方式更新第一神經網絡的參數，以根據第一神經網絡得到目標布局；所述第一神經網絡配置為根據當前時間步的布局狀態數據生成布局動作。本公開還提供一種布局模型的訓練方法、一種確定邏輯核布局的方法、一種電子設備、一種計算機可讀介質。

技術領域

本公開實施例涉及計算機技術領域，特別涉及一種確定邏輯核布局的方法、一種布局模型的訓練方法、一種確定邏輯核布局的方法、一種電子設備、一種計算機可讀介質。

背景技術

眾核架構是一種廣泛應用于執行神經網絡模型的并行處理架構。如圖1所示，在眾核架構中，每個物理核都能完成一定的計算功能，一定數量的物理核通過一定拓撲結構連接構成一個芯片，一定數量的芯片通過一定拓撲結構連接構成一個芯片陣列板，以此類推，可以擴展得到更大規模的系統。

通過以下步驟將神經網絡模型部署到眾核架構：(1)將神經網絡模型拆分映射為一個邏輯核計算圖，邏輯核計算圖由多個邏輯核通過一定拓撲結構連接構成；(2)將邏輯核布局到物理核。

在一些相關技術中，將神經網絡模型部署到眾核架構的方案的效果不夠理想。

發明內容

本公開實施例提供一種確定邏輯核布局的方法、一種布局模型的訓練方法、一種確定邏輯核布局的方法、一種電子設備、一種計算機可讀介質。

第一方面，本公開實施例提供一種確定邏輯核布局的方法，用于將具有確定拓撲的多個邏輯核布局到具有確定拓撲的多個物理核，所述方法包括：

基于強化學習方式更新第一神經網絡的參數，以根據第一神經網絡得到目標布局；所述第一神經網絡配置為根據當前時間步的布局狀態數據生成布局動作。

在一些實施例中，基于強化學習方式更新第一神經網絡的參數的步驟之前，所述方法還包括：

確定數據化表征結構，所述數據化表征結構表征多個物理核的拓撲和邏輯核與物理核的映射關系，所述當前時間步的布局狀態數據符合所述數據化表征結構。

在一些實施例中，所述基于強化學習方式更新第一神經網絡的參數的步驟包括：

根據當前時間步的布局狀態數據，通過所述第一神經網絡生成所述當前時間步的布局動作；

根據所述當前時間步的收益參數更新所述第一神經網絡參數，以增大所述當前時間步的收益參數的預期；所述收益參數至少包括所述當前時間步的布局狀態的實際收益；

判斷學習終止條件是否滿足，若是則學習結束，若否則返回所述通過所述第一神經網絡生成所述當前時間步的布局動作的步驟。

在一些實施例中，所述根據所述當前時間步的收益參數更新所述第一神經網絡參數，以增大所述當前時間步的收益參數的預期包括：

根據所述當前時間步的布局狀態數據和所述當前時間步的布局動作，通過第二神經網絡確定所述當前時間步的整體收益；

根據所述當前時間步的整體收益更新所述第二神經網絡的參數，以使所述當前時間步的整體收益逼近所述當前時間步的累計收益的預期，所述當前時間步的累計收益由所述當前時間步的實際收益和所有后續時間步的實際收益確定；

根據所述當前時間步的整體收益更新所述第一神經網絡參數，以增大所述當前時間步的整體收益的預期。

在一些實施例中，所述方法還包括：

根據所述當前時間步的布局狀態數據和所述當前時間步的布局動作，確定所述當前時間步的實際收益。

在一些實施例中，根據所述當前時間步的布局狀態數據和所述當前時間步的布局動作，確定所述當前時間步的實際收益的步驟包括：