[發明專利]交互式任務控制、智能決策模型訓練方法、設備和介質

在審

• 申請號: 202010415409.5
• 申請日: 2020-05-15
• 公開（公告）號: CN111589166A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 季興;紀曉龍;朱曉龍;湯善敏;周正;李宏亮;張正生;劉永升
• 申請（專利權）人: 深圳海普參數科技有限公司
• 主分類號: A63F13/822
• 分類號: A63F13/822;A63F13/847;G06N3/04
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 賀小旺

本申請公開了一種交互式任務控制、智能決策模型訓練方法、設備和介質，交互式任務的運行過程包括為多個子任務的執行過程，子任務能夠由用戶的操作控制執行或者由虛擬對象的操作控制執行；方法包括：獲取團隊中多個虛擬對象各自的觀察變量；對團隊中多個虛擬對象的觀察變量進行融合處理，得到團隊的全局變量數據；基于智能決策模型，根據全局變量數據確定團隊中多個虛擬對象各自的動作指令；根據動作指令控制執行虛擬對象對應的子任務。使得團隊中每個虛擬對象的觀察變量的時間點都是一致的，做動作的時間點也是一致的，減少了團隊中不同虛擬對象之間的動作延遲，防止延遲和動作不同步導致的有效配合降低等問題。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種交互式任務控制、智能決策模型訓練方法、設備和介質。

背景技術

隨著現代經濟繁榮發展，電子游戲的不斷進步和提升，現在已經成為人們主要的休閑娛樂方式之一。游戲中非玩家角色的行為決策是影響游戲質量和用戶體驗的重要因素。傳統游戲人工智能的實現是通過行為樹(behavior tree)來實現，根據智能體處在不同的環境和狀態采取不同的策略。

基于行為樹的方法是根據人類對特定游戲的理解，將智能體的決策邏輯以行為樹的形式進行建模，行為樹中的每個節點邏輯判斷都有人類手工設定，例如智能體的位置到達哪里就進行防御或者攻擊，確定好整個行為樹的邏輯判斷之后，智能體就會按照行為樹的邏輯來執行動作。然而隨著游戲狀態增加，環境因素越來越復雜，通過傳統的行為樹方式顯得復雜和效率低下。近年來，隨著深度學習(deep learning)的快速發展，基于深度學習的游戲AI建模方法將數據作為驅動力，從數據中學習觀察變量和動作之間的映射關系，將簡單的行為樹邏輯轉換為復雜的函數映射，隨之也取得更加好的效果。

基于深度學習的建模方法中，多智能體的建模尤為復雜。多智能體的建模會將每個智能體的觀察變量進行分別建模，得到每個智能體所對應的動作，然后發送給游戲內核。這樣的處理方式會帶來以下問題：由于每個智能體的動作進行獨立的處理，不同的智能體所做的動作容易存在不同步，可能會產生信息不同步導致的失誤。

發明內容

本申請實施例提供一種交互式任務控制方法、智能決策模型訓練方法、設備和存儲介質，能夠減少團隊中不同虛擬對象動作之間的不同步。

第一方面，本申請提供了一種交互式任務控制方法，所述交互式任務的運行過程包括為多個子任務的執行過程，所述子任務能夠由用戶的操作控制執行或者由虛擬對象的操作控制執行；所述方法包括：

獲取團隊中多個虛擬對象各自的觀察變量；

對所述團隊中多個虛擬對象的觀察變量進行融合處理，得到所述團隊的全局變量數據；

基于智能決策模型，根據所述全局變量數據確定所述團隊中多個虛擬對象各自的動作指令；

根據所述動作指令控制執行所述虛擬對象對應的子任務。

第二方面，本申請提供了一種智能決策模型的訓練方法，所述智能決策模型用于交互式任務的控制，所述交互式任務的運行過程包括為多個子任務的執行過程，所述子任務能夠由用戶的操作控制執行或者由虛擬對象的操作控制執行；所述方法包括：

獲取團隊中多個虛擬對象各自的觀察變量；

對多個所述觀察變量進行融合處理，得到所述團隊的全局變量數據；

基于待訓練的智能決策模型，根據所述全局變量數據確定所述團隊中多個虛擬對象各自的動作指令；

獲取各所述虛擬對象根據對應的動作指令執行動作的回報數據；

根據所述回報數據對所述待訓練的智能決策模型訓練。

第三方面，本申請提供了一種計算機設備，所述計算機設備包括存儲器和處理器；