[發明專利]模型訓練方法、裝置、計算機設備及存儲介質

有效

• 申請號: 201810910064.3
• 申請日: 2018-08-10
• 公開（公告）號: CN109034397B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 黃盈;荊彥青
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V40/20;A63F13/55;A63F13/67
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本申請是關于一種模型訓練方法。該方法包括：獲取第一樣本集，第一樣本集包含第一樣本圖像以及第一樣本圖像的行為信息，行為信息用于指示虛擬對象的行為動作；通過第一樣本集進行模型訓練，獲得初始模型；獲取第二樣本集，第二樣本集包含第二樣本圖像以及第二樣本圖像的行為信息，第二樣本圖像是通過初始模型控制虛擬對象時的場景畫面圖像；通過第二樣本集對初始模型進行再訓練，獲得對象控制模型。不需要長時間的在線訓練，也不需要準備大量的訓練樣本，只需要在初始時準備少量訓練樣本，后續樣本在訓練過程中對初始模型的執行結果進行修正獲得，從而極大的提高對虛擬場景中的虛擬對象進行控制的機器學習模型的訓練效率。

技術領域

本申請實施例涉及機器學習技術領域，特別涉及一種模型訓練方法、裝置、計算機設備及存儲介質。

背景技術

在很多構建虛擬場景的應用程序(比如虛擬現實應用程序、三維地圖程序、第一人稱射擊游戲、多人在線戰術競技游戲等)中，系統有對虛擬場景中的虛擬對象進行自動控制的需求。

在相關技術中，虛擬場景中的虛擬對象的自動控制可以通過訓練好的深度強化學習模型進行控制。其中，深度強化學習模型為在線訓練的機器學習模型，在訓練深度強化學習模型時，開發人員預先為深度強化學習模型定義初始參數，并通過深度強化學習模型在線控制虛擬對象，并根據對虛擬對象的控制的反饋不斷的對深度強化學習模型的參數進行更新，直至深度強化學習模型對虛擬對象的控制效果達到預定要求。

然而，相關技術中的深度強化學習模型經過需要較長時間的在線訓練，導致模型訓練的效率較低。

發明內容

本申請實施例提供了一種模型訓練方法、裝置、計算機設備及存儲介質，能夠提高對虛擬場景中的虛擬對象進行控制的機器學習模型的訓練效率，技術方案如下：

一方面，提供了一種模型訓練方法，所述方法包括：

獲取第一樣本集，所述第一樣本集包含第一樣本圖像以及所述第一樣本圖像的行為信息，所述第一樣本圖像是通過終端控制虛擬場景中的虛擬對象時的場景畫面圖像，所述行為信息用于指示所述虛擬對象的行為動作；

通過所述第一樣本集進行模型訓練，獲得初始模型；

獲取第二樣本集，所述第二樣本集包含第二樣本圖像以及所述第二樣本圖像的行為信息，所述第二樣本圖像是通過所述初始模型控制所述虛擬對象時的場景畫面圖像，所述第二樣本圖像的行為信息是對所述初始模型根據所述第二樣本圖像獲得的行為動作進行修正獲得的行為信息；

通過所述第二樣本集對所述初始模型進行再訓練，獲得對象控制模型。

另一方面，提供了一種模型訓練裝置，所述裝置包括：

第一樣本獲取模塊，用于獲取第一樣本集，所述第一樣本集包含第一樣本圖像以及所述第一樣本圖像的行為信息，所述第一樣本圖像是通過終端控制虛擬場景中的虛擬對象時的場景畫面圖像，所述行為信息用于指示所述虛擬對象的行為動作；

第一訓練模塊，用于通過所述第一樣本集進行模型訓練，獲得初始模型；

第二樣本獲取模塊，用于獲取第二樣本集，所述第二樣本集包含第二樣本圖像以及所述第二樣本圖像的行為信息，所述第二樣本圖像是通過所述初始模型控制所述虛擬對象時的場景畫面圖像，所述第二樣本圖像的行為信息是對所述初始模型根據所述第二樣本圖像獲得的行為動作進行修正獲得的行為信息；

第二訓練模塊，用于通過所述第二樣本集對所述初始模型進行再訓練，獲得對象控制模型。

另一方面，提供了一種計算機設備，所述計算機設備包含處理器和存儲器，所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執行以實現上述的模型訓練方法。