[發(fā)明專利]確定邏輯核布局的方法、模型訓練方法、電子設備、介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011141034.4
• 申請日: 2020-10-22
• 公開（公告）號: CN112257848A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設計）人: 鄧磊;李涵;施路平
• 申請（專利權(quán)）人: 北京靈汐科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/06;G06N3/08;G06F15/78
• 代理公司: 北京天昊聯(lián)合知識產(chǎn)權(quán)代理有限公司 11112
• 代理人: 彭瑞欣;姜春咸

1.一種確定邏輯核布局的方法，用于將具有確定拓撲的多個邏輯核布局到具有確定拓撲的多個物理核，所述方法包括：

基于強化學習方式更新第一神經(jīng)網(wǎng)絡的參數(shù)，以根據(jù)第一神經(jīng)網(wǎng)絡得到目標布局；所述第一神經(jīng)網(wǎng)絡配置為根據(jù)當前時間步的布局狀態(tài)數(shù)據(jù)生成布局動作。

2.根據(jù)權(quán)利要求1所述的方法，其中，基于強化學習方式更新第一神經(jīng)網(wǎng)絡的參數(shù)的步驟之前，所述方法還包括：

確定數(shù)據(jù)化表征結(jié)構(gòu)，所述數(shù)據(jù)化表征結(jié)構(gòu)表征多個物理核的拓撲和邏輯核與物理核的映射關(guān)系，所述當前時間步的布局狀態(tài)數(shù)據(jù)符合所述數(shù)據(jù)化表征結(jié)構(gòu)。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于強化學習方式更新第一神經(jīng)網(wǎng)絡的參數(shù)的步驟包括：

根據(jù)當前時間步的布局狀態(tài)數(shù)據(jù)，通過所述第一神經(jīng)網(wǎng)絡生成所述當前時間步的布局動作；

根據(jù)所述當前時間步的收益參數(shù)更新所述第一神經(jīng)網(wǎng)絡參數(shù)，以增大所述當前時間步的收益參數(shù)的預期；所述收益參數(shù)至少包括所述當前時間步的布局狀態(tài)的實際收益；

判斷學習終止條件是否滿足，若是則學習結(jié)束，若否則返回所述通過所述第一神經(jīng)網(wǎng)絡生成所述當前時間步的布局動作的步驟。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述當前時間步的收益參數(shù)更新所述第一神經(jīng)網(wǎng)絡參數(shù)，以增大所述當前時間步的收益參數(shù)的預期包括：

根據(jù)所述當前時間步的布局狀態(tài)數(shù)據(jù)和所述當前時間步的布局動作，通過第二神經(jīng)網(wǎng)絡確定所述當前時間步的整體收益；

根據(jù)所述當前時間步的整體收益更新所述第二神經(jīng)網(wǎng)絡的參數(shù)，以使所述當前時間步的整體收益逼近所述當前時間步的累計收益的預期，所述當前時間步的累計收益由所述當前時間步的實際收益和所有后續(xù)時間步的實際收益確定；

根據(jù)所述當前時間步的整體收益更新所述第一神經(jīng)網(wǎng)絡參數(shù)，以增大所述當前時間步的整體收益的預期。

5.根據(jù)權(quán)利要求3所述的方法，其中，所述方法還包括：

根據(jù)所述當前時間步的布局狀態(tài)數(shù)據(jù)和所述當前時間步的布局動作，確定所述當前時間步的實際收益。

6.根據(jù)權(quán)利要求5所述的方法，其中，根據(jù)所述當前時間步的布局狀態(tài)數(shù)據(jù)和所述當前時間步的布局動作，確定所述當前時間步的實際收益的步驟包括：

在所述當前時間步存在未布局到物理核上的邏輯核的情況下，將預定收益值確定為所述當前時間步的實際收益；

在所述當前時間步不存在未布局到物理核上的邏輯核的情況下，根據(jù)所述當前時間步的布局狀態(tài)的運行性能確定所述當前時間步的實際收益。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述運行性能包括延遲、吞吐量、功耗中的至少一者。

8.根據(jù)權(quán)利要求4所述的方法，其中，所述當前時間步的累計收益等于當前時間步的實際收益和后續(xù)每一時間步的實際收益通過后續(xù)每一時間步的折現(xiàn)系數(shù)加權(quán)后的和，所述折現(xiàn)系數(shù)表征后續(xù)時間步的布局動作對所述當前時間步的整體收益的影響的大小。

9.根據(jù)權(quán)利要求8所述的方法，其中，后續(xù)每一個時間步的折現(xiàn)系數(shù)逐個遞減。

10.根據(jù)權(quán)利要求4至8中任意一項所述的方法，其中，判斷學習終止條件是否滿足的步驟包括：

判斷所述當前時間步是否存在未布局到物理核上的邏輯核；

在所述當前時間步不存在未布局到物理核上的邏輯核的情況下，判斷迭代終止條件是否滿足；

在所述迭代終止條件滿足的情況下，判定所述學習終止條件滿足。

11.根據(jù)權(quán)利要求10所述的方法，其中，所述迭代終止條件滿足包括所述當前時間步的迭代次數(shù)達到預定迭代次數(shù)、所述當前時間步的整體收益達到預定收益值、所述第一神經(jīng)網(wǎng)絡的參數(shù)和所述第二神經(jīng)網(wǎng)絡的參數(shù)收斂中的至少一者。