[發(fā)明專利]資源編排方法及智能體

有效

• 申請?zhí)枺?/td>: 202110520783.6
• 申請日: 2021-05-13
• 公開（公告）號: CN113254200B
• 公開（公告）日: 2023-06-09
• 發(fā)明（設(shè)計）人: 劉晶;徐雷;毋濤
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京天昊聯(lián)合知識產(chǎn)權(quán)代理有限公司 11112
• 代理人: 彭瑞欣;馮建基

本發(fā)明公開一種資源編排方法及智能體，涉及計算機技術(shù)領(lǐng)域。具體方案包括：獲取全局獎勵信息和局部環(huán)境狀態(tài)信息，其中，全局獎勵信息是基于預(yù)設(shè)的全局環(huán)境獲得的信息，全局環(huán)境對應(yīng)一個或多個智能體，局部環(huán)境狀態(tài)信息是根據(jù)當(dāng)前智能體對應(yīng)的局部環(huán)境獲取的信息；根據(jù)全局獎勵信息和局部環(huán)境狀態(tài)信息，更新編排策略；在接收到第一資源編排請求的情況下，基于第一資源編排請求、局部環(huán)境狀態(tài)信息和更新的編排策略編排局部環(huán)境中的資源?；谌知剟钚畔⒑途植凯h(huán)境狀態(tài)信息更新編排策略，不僅可以降低智能體之間編排策略的相關(guān)性，還可以依據(jù)環(huán)境變化及時更新編排策略，從而獲得更加合理準(zhǔn)確的編排策略，提升了資源的利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體涉及一種資源編排方法及智能體。

背景技術(shù)

智能體是人工智能領(lǐng)域中的重要概念之一，它是指駐留在某一環(huán)境下，能持續(xù)自主地發(fā)揮作用，具備駐留性、反應(yīng)性、社會性、主動性等特征的計算實體。在實際應(yīng)用中，可以為智能體預(yù)設(shè)策略，智能體基于預(yù)設(shè)策略執(zhí)行相應(yīng)動作。但是，通常情況下，預(yù)設(shè)策略為相對固定的策略，且多個智能體基于相同的環(huán)境和相同的獎勵更新策略時存在相關(guān)性，從而導(dǎo)致智能體無法依據(jù)環(huán)境變化合理準(zhǔn)確地更新策略。

發(fā)明內(nèi)容

為此，本發(fā)明提供一種資源編排方法及智能體，以解決智能體無法依據(jù)環(huán)境變化合理準(zhǔn)確地更新策略的問題。

為了實現(xiàn)上述目的，本發(fā)明第一方面提供一種資源編排方法，該資源編排方法包括：

獲取全局獎勵信息和局部環(huán)境狀態(tài)信息，其中，所述全局獎勵信息是基于預(yù)設(shè)的全局環(huán)境獲得的信息，所述全局環(huán)境對應(yīng)一個或多個智能體，所述局部環(huán)境狀態(tài)信息是根據(jù)當(dāng)前智能體對應(yīng)的局部環(huán)境獲取的信息；

根據(jù)所述全局獎勵信息和所述局部環(huán)境狀態(tài)信息，更新編排策略；

在接收到第一資源編排請求的情況下，基于所述第一資源編排請求、所述局部環(huán)境狀態(tài)信息和更新的編排策略編排所述局部環(huán)境中的資源。

進一步地，所述獲取全局獎勵信息和局部環(huán)境狀態(tài)信息之前，還包括：

接收用戶終端發(fā)送的第二資源編排請求；

根據(jù)所述第二資源編排請求、所述第二資源編排請求對應(yīng)的歷史局部環(huán)境狀態(tài)信息和所述第二資源編排請求對應(yīng)的歷史編排策略，編排所述第二資源編排請求對應(yīng)的歷史局部環(huán)境中的資源。

進一步地，所述獲取全局獎勵信息和局部環(huán)境狀態(tài)信息，包括：

根據(jù)編排之后的所述第二資源編排請求對應(yīng)的歷史局部環(huán)境中的資源，獲取所述全局獎勵信息和所述局部環(huán)境狀態(tài)信息。

進一步地，所述第一資源編排請求和所述第二資源編排請求包括資源編排類型和資源需求量。

進一步地，所述全局獎勵信息是對所述全局環(huán)境中所有智能體的所述第二資源編排請求對應(yīng)的歷史局部環(huán)境狀態(tài)信息和所述局部環(huán)境狀態(tài)信息進行批處理，獲得所述全局環(huán)境的資源均衡率與請求接受率，并根據(jù)預(yù)設(shè)的獎勵機制、所述資源均衡率和所述請求接受率生成的信息。

進一步地，所述編排策略包括動作策略；

所述根據(jù)所述全局獎勵信息和所述局部環(huán)境狀態(tài)信息，更新編排策略，包括：

將所述全局獎勵信息和所述局部環(huán)境狀態(tài)信息輸入預(yù)設(shè)的動作策略預(yù)測模型，以供所述動作策略預(yù)測模型執(zhí)行動作策略預(yù)測操作，并輸出更新的動作策略。

進一步地，所述動作策略包括路徑部署子策略和路由子策略中的一個或多個。

進一步地，所述在接收到第一資源編排請求的情況下，基于所述第一資源編排請求、所述局部環(huán)境狀態(tài)信息和更新的編排策略編排所述局部環(huán)境中的資源，包括：