[發明專利]游戲畫面中的文字識別方法、裝置、電子設備和存儲介質

有效

• 申請號: 202011003615.1
• 申請日: 2020-09-22
• 公開（公告）號: CN112163577B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 晉博;李秋實;孫智
• 申請（專利權）人: 廣州博冠信息科技有限公司
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/19;G06V10/764;G06F16/735
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 高楊麗

1.一種游戲畫面中的文字識別方法，其特征在于，包括：

獲取來源于多個虛擬場景的樣本游戲畫面，其中，所述虛擬場景包括目標虛擬場景，所述樣本游戲畫面中包括多種樣式的文字構成的文本，所述樣本游戲畫面標注有文本所在的實際文本區域的位置信息；

基于待訓練的通用文本區域檢測模型對所述樣本游戲畫面提取特征信息；

通過所述通用文本區域檢測模型，基于所述特征信息對所述樣本游戲畫面進行文本區域檢測，得到所述樣本游戲畫面的預測文本區域的信息；

基于所述實際文本區域的位置信息，以及所述預測文本區域的信息，調整所述通用文本區域檢測模型的參數；

通過通用文本區域檢測模型對待檢測游戲畫面提取特征信息，其中，所述待檢測游戲畫面為目標虛擬場景的游戲畫面；

通過所述通用文本區域檢測模型，基于所述特征信息對所述待檢測游戲畫面進行文本區域檢測，得到候選文本區域；

基于所述目標虛擬場景對應的文字識別模型，從所述候選文本區域中識別出目標信息所在的目標文本區域，其中，所述目標信息為需要從所述目標虛擬場景中提取的文字信息；

基于所述目標虛擬場景對應的文字識別模型，對所述目標文本區域中的文本進行識別，得到所述待檢測游戲畫面的目標信息。

2.根據權利要求1所述的游戲畫面中的文字識別方法，其特征在于，所述通用文本區域檢測模型包括至少兩個連接的特征提取層，以及對應的特征合并層，所述通過通用文本區域檢測模型對待檢測游戲畫面提取特征信息，包括：

通過各所述特征提取層對所述待檢測游戲畫面提取多種尺度的特征圖；

通過所述特征合并層，對所述多種尺度的特征圖進行融合，得到所述待檢測游戲畫面的特征信息。

3.根據權利要求2所述的游戲畫面中的文字識別方法，其特征在于，所述特征合并層的數量比特征提取層的數量少一層，所述通過所述特征合并層，對所述多種尺度的特征圖進行融合，得到所述待檢測游戲畫面的特征信息，包括：

將最后一層特征提取層提取的特征圖作為待合并特征圖，通過特征合并層對所述待合并特征圖進行尺度變換后，與相鄰的上層特征提取層提取的特征圖進行合并，得到合并后特征圖；

對所述合并后特征圖進行卷積操作，得到卷積后特征圖；

將所述卷積后特征圖作為新的待合并特征圖，返回執行所述通過特征合并層對所述待合并特征圖進行尺度變換后，與相鄰的上層特征提取層提取的特征圖進行合并的步驟，直到所有尺度的特征圖合并完成，將最終得到的卷積后特征圖作為所述待檢測游戲畫面的特征信息。

4.根據權利要求1所述的游戲畫面中的文字識別方法，其特征在于，所述樣本游戲畫面包括第一樣本游戲畫面和第二樣本游戲畫面，其中，

所述第一樣本游戲畫面來源于多個虛擬場景，所述第一樣本游戲畫面中標注有文本所在的實際文本區域的位置信息；所述第二樣本游戲畫面為采用預設的多種文字樣式生成多段文本，并在源于所述虛擬場景的游戲畫面中設置至少一段生成的所述文本得到的樣本游戲畫面。

5.根據權利要求1所述的游戲畫面中的文字識別方法，其特征在于，所述預測文本區域的信息包括：所述預測文本區域的偏移量和偏移角度；

所述基于所述實際文本區域的位置信息，以及所述預測文本區域的信息，調整所述通用文本區域檢測模型的參數，包括：

基于在所述樣本游戲畫面中所述實際文本區域和所述預測文本區域的圖像內容，計算用于衡量所述實際文本區域和預測文本區域的圖像內容相似度的第一損失；

基于所述實際文本區域的位置信息和所述預測文本區域的偏移量，計算所述預測文本區域對應的形狀損失；

基于所述實際文本區域的位置信息和所述預測文本區域的偏移角度，計算所述預測文本區域對應的角度損失；

基于所述形狀損失和角度損失，得到所述預測文本區域的第二損失；

基于所述第一損失和第二損失，調整所述通用文本區域檢測模型的參數。