[發明專利]一種游戲場景描述方法、裝置、設備及其存儲介質

有效

• 申請號: 201810530747.6
• 申請日: 2018-05-25
• 公開（公告）號: CN108764141B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 劉爐;吳曉東;任高生
• 申請（專利權）人: 廣州虎牙信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種游戲場景描述方法，其特征在于，包括：

將待識別游戲圖像輸入第一神經網絡模型，得到與所述待識別游戲圖像對應的描述性詞語標簽，所述描述性詞語標簽包括下述至少一項：游戲角色名、游戲成就信息、游戲進程描述信息以及游戲狀態信息；

建立待識別游戲圖像的描述性詞語標簽，以及待識別游戲圖像的游戲直播間之間的對應關系；

根據與至少兩個游戲直播間分別對應的描述性詞語標簽對所述至少兩個游戲直播間進行聚類處理；

根據聚類處理結果，在設定直播平臺中顯示所述至少兩個游戲直播間；

將所述描述性詞語標簽輸入第二神經網絡模型，得到與所述待識別游戲圖像匹配的游戲場景描述信息，其中，第二神經網絡模型根據以下兩種方式進行構建：第一，對圖像特征進行分析，識別圖片中存在的物體以及物體之間所具有的動作關系，采用固定的語言模板結合所述動作關系生成描述待識別游戲圖像的句子；第二，構造遞歸神經網絡模型得到對待識別游戲圖像的游戲場景的描述；

其中，所述第一神經網絡模型包括：特征提取網絡子模型以及目標探測網絡子模型；所述特征提取網絡子模型用于對輸入的待識別游戲圖像進行圖像特征提取，并將提取出的圖像特征輸入至所述目標探測網絡子模型，所述目標探測網絡子模型用于對輸入的圖像特征進行檢測，得到與圖像特征對應的一個或多個描述性詞語標簽。

2.根據權利要求1所述的方法，其特征在于，在將待識別游戲圖像輸入第一神經網絡模型，得到與所述待識別游戲圖像對應的描述性詞語標簽之前，還包括：

獲取訓練樣本集，所述訓練樣本集包括：多張游戲圖片，以及與游戲圖片對應的游戲場景描述信息以及描述性詞語標簽；

使用標準神經網絡模型，對所述訓練樣本集中的游戲圖片的神經網絡特征進行提取，得到游戲圖片的圖像特征；

將游戲圖片的圖像特征與游戲圖片的描述性詞語標簽進行交叉匹配，得到與游戲圖片的圖像特征對應的描述性詞語標簽；

根據所述游戲圖片的圖像特征，以及與游戲圖片的圖像特征對應的描述性詞語標簽，訓練得到所述第一神經網絡模型；

根據與游戲圖片對應的游戲場景描述信息以及描述性詞語標簽，訓練得到所述第二神經網絡模型。

3.根據權利要求2所述的方法，其特征在于：所述游戲圖片的描述性詞語標簽，通過對所述游戲圖片的游戲場景描述信息進行分詞得到。

4.根據權利要求1-3任一項所述的方法，其特征在于，在將待識別游戲圖像輸入第一神經網絡模型，得到與所述待識別游戲圖像對應的描述性詞語標簽之前，還包括：

從與至少一個游戲直播間對應的直播視頻流中獲取視頻幀，并將經過預處理后的所述視頻幀作為所述待識別游戲圖像；

其中，所述預處理操作包括下述至少一項：縮放、裁剪以及旋轉。

5.根據權利要求4所述的方法，其特征在于，將所述描述性詞語標簽輸入第二神經網絡模型，得到與所述待識別游戲圖像匹配的游戲場景描述信息之后，包括：

對于選定游戲直播間，對應顯示與所述游戲直播間對應的所述游戲場景描述信息。