[發明專利]資源編排方法及智能體

有效

• 申請號: 202110520783.6
• 申請日: 2021-05-13
• 公開（公告）號: CN113254200B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 劉晶;徐雷;毋濤
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;馮建基

1.一種資源編排方法，其特征在于，包括：

獲取全局獎勵信息和局部環境狀態信息，其中，所述全局獎勵信息是基于預設的全局環境獲得的信息，所述全局環境對應一個或多個智能體，所述局部環境狀態信息是根據當前智能體對應的局部環境獲取的信息，所述全局獎勵信息是對所述全局環境中所有智能體的第二資源編排請求對應的歷史局部環境狀態信息和所述局部環境狀態信息進行批處理，獲得所述全局環境的資源均衡率與請求接受率，并根據預設的獎勵機制、所述資源均衡率和所述請求接受率生成的信息；

根據所述全局獎勵信息和所述局部環境狀態信息，更新編排策略；

在接收到第一資源編排請求的情況下，基于所述第一資源編排請求、所述局部環境狀態信息和更新的編排策略編排所述局部環境中的資源；

所述獲取全局獎勵信息和局部環境狀態信息之前，還包括：

接收用戶終端發送的所述第二資源編排請求；

根據所述第二資源編排請求、所述第二資源編排請求對應的歷史局部環境狀態信息和所述第二資源編排請求對應的歷史編排策略，編排所述第二資源編排請求對應的歷史局部環境中的資源；

所述編排策略包括動作策略；所述根據所述全局獎勵信息和所述局部環境狀態信息，更新編排策略，包括：

將所述全局獎勵信息和所述局部環境狀態信息輸入預設的動作策略預測模型，以供所述動作策略預測模型執行動作策略預測操作，并輸出更新的動作策略。

2.根據權利要求1所述的資源編排方法，其特征在于，所述獲取全局獎勵信息和局部環境狀態信息，包括：

根據編排之后的所述第二資源編排請求對應的歷史局部環境中的資源，獲取所述全局獎勵信息和所述局部環境狀態信息。

3.根據權利要求1所述的資源編排方法，其特征在于，所述第一資源編排請求和所述第二資源編排請求包括資源編排類型和資源需求量。

4.根據權利要求1所述的資源編排方法，其特征在于，所述動作策略包括路徑部署子策略和路由子策略中的一個或多個。

5.根據權利要求1所述的資源編排方法，其特征在于，所述在接收到第一資源編排請求的情況下，基于所述第一資源編排請求、所述局部環境狀態信息和更新的編排策略編排所述局部環境中的資源，包括：

將所述第一資源編排請求、所述局部環境狀態信息和所述更新的編排策略發送至資源管理器，由所述資源管理器編排所述局部環境中的資源。

6.根據權利要求5所述的資源編排方法，其特征在于，所述資源管理器用于配置和編排所述局部環境中的各類資源。

7.一種智能體，其特征在于，包括：

第一獲取模塊，用于獲取全局獎勵信息和局部環境狀態信息，其中，所述全局獎勵信息是基于預設的全局環境獲得的信息，所述全局環境對應一個或多個智能體，所述全局獎勵信息是對所述全局環境中所有智能體的第二資源編排請求對應的歷史局部環境狀態信息和所述局部環境狀態信息進行批處理，獲得所述全局環境的資源均衡率與請求接受率，并根據預設的獎勵機制、所述資源均衡率和所述請求接受率生成的信息；

第二獲取模塊，用于局部環境狀態信息，其中，所述局部環境狀態信息是根據當前智能體對應的局部環境獲取的信息；

更新模塊，用于根據所述全局獎勵信息和所述局部環境狀態信息，更新編排策略；

編排模塊，用于在接收到第一資源編排請求的情況下，基于所述第一資源編排請求、所述局部環境狀態信息和更新的編排策略編排所述局部環境中的資源；

所述第一獲取模塊獲取全局獎勵信息和局部環境狀態信息之前，所述智能體還用于：

接收用戶終端發送的所述第二資源編排請求；

根據所述第二資源編排請求、所述第二資源編排請求對應的歷史局部環境狀態信息和所述第二資源編排請求對應的歷史編排策略，編排所述第二資源編排請求對應的歷史局部環境中的資源；

所述編排策略包括動作策略；所述更新模塊根據所述全局獎勵信息和所述局部環境狀態信息，更新編排策略，包括：

將所述全局獎勵信息和所述局部環境狀態信息輸入預設的動作策略預測模型，以供所述動作策略預測模型執行動作策略預測操作，并輸出更新的動作策略。