[發(fā)明專利]使用云游戲網(wǎng)絡的人工智能(AI)模型訓練

有效

• 申請?zhí)枺?/td>: 201980086869.3
• 申請日: 2019-08-30
• 公開（公告）號: CN113365706B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設計）人: J.V.貝爾特蘭;D.巴特勒;K.克雷根布林克
• 申請（專利權(quán)）人: 索尼互動娛樂有限責任公司
• 主分類號: A63F13/67
• 分類號: A63F13/67;A63F13/44;A63F13/355
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張曉明

一種用于處理游戲應用程序的人工智能(AI)模型的方法。所述方法包括使用從所述游戲應用程序的情境的多個玩游戲過程中收集的訓練狀態(tài)數(shù)據(jù)和所述多個玩游戲過程中的每一者的相關聯(lián)成功準則來從所述情境的所述多個玩游戲過程中訓練所述AI模型。所述方法包括在所述情境的第一玩游戲過程期間接收第一輸入狀態(tài)數(shù)據(jù)。所述方法包括將所述第一輸入狀態(tài)數(shù)據(jù)應用于所述AI模型以生成指示所述情境的針對所述第一玩游戲過程的成功程度的輸出。所述方法包括基于預定義目標來執(zhí)行所述輸出的分析。所述方法包括基于所分析的所述輸出來執(zhí)行動作以實現(xiàn)所述預定義目標。

J.V.貝爾特蘭、D.巴特勒、K.克雷根布林克

技術領域

本公開涉及人工智能(AI)模型訓練，并且更特定地，涉及使用游戲云系統(tǒng)的服務器控制臺網(wǎng)絡來收集與遠程玩家相關聯(lián)的訓練數(shù)據(jù)，所述訓練數(shù)據(jù)用于AI模型訓練。

背景技術

人工智能算法是為了從數(shù)據(jù)中進行學習而設計的。AI模型可以基于所學習的數(shù)據(jù)來構(gòu)建，并且足夠靈活，以根據(jù)提供給AI模型的輸入來執(zhí)行多種功能。

然而，提供數(shù)據(jù)來訓練AI模型是復雜的。在不太簡單的示例中，使用大量的對象圖像來訓練被配置用于辨識對象的AI模型。例如，使用大量的對象圖像來訓練AI模型。生成和收集那些圖像是困難并且非常耗時的。基本上，AI模型被訓練來辨識存在的每個類型的對象。試想一下為每一對象收集所述對象從不同角度拍攝的多個圖像。以這種方式，當呈現(xiàn)對象的新圖像時，AI模型可以提取各種識別特性(例如，輪廓、顏色、特征、大小等)來確定那些特征是否與所學習對象的特性相匹配。對象的數(shù)量是無限制的，并且那些對象的各種視圖也是無限制的。因而，訓練AI模型來辨識對象可能是一個持續(xù)性過程。

正是在這種背景下，出現(xiàn)了本公開的實施方案。

發(fā)明內(nèi)容

本公開的實施方案涉及用于訓練與游戲應用程序的玩游戲過程相關的AI模型的系統(tǒng)和方法。所述AI模型是通過深度學習引擎構(gòu)建的，所述AI模型被配置成提供與游戲應用程序和/或游戲應用程序的玩游戲過程相關的各種功能性(例如，提供推薦、發(fā)現(xiàn)玩家的弱點、發(fā)現(xiàn)游戲應用程序中的缺陷、訓練玩家、向玩家提供對手等)。AI模型可以使用龐大的服務器網(wǎng)絡(例如，服務器控制臺、游戲服務器等)來訓練，所述服務器網(wǎng)絡被配置成執(zhí)行游戲應用程序的實例以支持多個玩游戲過程。例如，服務器網(wǎng)絡可以支持遠程用戶的玩游戲過程，每一遠程用戶通過對應客戶端裝置玩游戲應用程序。在支持遠程用戶的玩游戲過程的正常過程中，可以從服務器網(wǎng)絡收集訓練數(shù)據(jù)，并使用所述訓練數(shù)據(jù)來訓練與游戲應用程序相關的AI模型。通過從被配置成支持遠程用戶的玩游戲過程的現(xiàn)有服務器網(wǎng)絡中收集訓練數(shù)據(jù)，集中并減少了收集訓練數(shù)據(jù)時所消耗的時間和精力。也就是說，通過在服務器網(wǎng)絡上進行記錄來構(gòu)建輸入的訓練數(shù)據(jù)集所需的時間顯著減少。在某種程度上，AI模型學習游戲應用程序的復雜性以及如何玩游戲應用程序。以這種方式，給定游戲應用程序的玩游戲過程的條件(例如，特定玩游戲過程的游戲狀態(tài))作為輸入，AI模型可以分析所述條件并提供對所述條件的適當響應。所述響應可以取決于預定義目標。因為AI模型理解如何在給定不同目標(例如，探索性的、直接到結(jié)尾的、最容易玩的、最難玩的等)的情況下玩游戲應用程序，所以AI模型可以確定如何指導玩游戲過程(例如，確定實現(xiàn)對應目標所需的接下來的輸入序列是什么)。具體地，AI模型可以用于執(zhí)行與游戲應用程序和/或游戲應用程序的玩游戲過程相關的各種功能性，其中功能性取決于對應的預定義目標。例如，AI模型可以用來訓練職業(yè)玩家成為所有玩家中的佼佼者，方法是讓學生玩家與終極對手對抗，或者引導學生玩家通過各種挑戰(zhàn)來改善學生玩家的弱點。另外，AI模型可以通過不斷收集訓練數(shù)據(jù)并基于成功準則將新的訓練數(shù)據(jù)與現(xiàn)有的訓練數(shù)據(jù)進行比較來不斷完善。