[發明專利]興趣點識別方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202010928443.2
• 申請日: 2020-09-07
• 公開（公告）號: CN112101165B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 岳大威;王宇
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/62;G06K9/62;G06F16/29;G06N3/04;G06N3/08;G06V10/80
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 李文淵

1.一種興趣點識別方法，其特征在于，所述方法包括：

獲取待處理圖像；

識別所述待處理圖像中的文本區域；

通過預先訓練的機器學習模型中的圖像特征提取層，按照預設尺寸對所述文本區域所對應的圖像的區域進行調整，得到區域調整后的圖像；

提取所述區域調整后的圖像對應的特征圖；

對所述特征圖進行多尺度特征提取，得到圖像特征；

對所述文本區域中的文本內容進行文本特征提取，獲得文本特征；

提取所述文本區域在所述待處理圖像中對應的空間位置特征；

將所述圖像特征、所述文本特征和所述空間位置特征融合，根據融合后的特征對所述文本區域進行興趣點識別。

2.根據權利要求1所述的方法，其特征在于，所述識別所述待處理圖像中的文本區域，包括：

對所述待處理圖像進行文本檢測，識別所述待處理圖像中的文本行的位置；

根據所述文本行的位置，標記所述待處理圖像中的文本框，根據所述文本框確定所述待處理圖像中的文本區域。

3.根據權利要求1所述的方法，其特征在于，所述對所述特征圖進行多尺度特征提取，得到圖像特征，包括：

對所述特征圖進行全局特征提取，獲得全局特征；

將所述特征圖和所述全局特征進行特征融合，獲得融合圖特征；

對所述融合圖特征進行多尺度特征提取，得到圖像特征。

4.根據權利要求1-2任一項所述的方法，其特征在于，所述對所述文本區域中的文本內容進行文本特征提取，獲得文本特征，包括：

通過預先訓練的機器學習模型中的文本特征提取層，提取所述文本區域中文本內容對應的字向量；

根據各所述字向量，提取所述文本內容對應的文本向量；

對所述文本向量進行文本分類，根據文本分類結果提取對應的文本特征。

5.根據權利要求1所述的方法，其特征在于，所述提取所述文本區域在所述待處理圖像中對應的空間位置特征，包括：

通過預先訓練的機器學習模型中的空間特征提取層，對所述待處理圖像進行區域劃分，得到預設數量的圖像子區域；

根據所述文本區域的位置和各所述圖像子區域的位置，提取所述文本區域在所述待處理圖像中對應的空間位置特征。

6.根據權利要求5所述的方法，其特征在于，所述根據所述文本區域的位置和各所述圖像子區域的位置，提取所述文本區域在所述待處理圖像中對應的空間位置特征，包括：

根據所述文本區域的邊框的位置落入各所述圖像子區域的位置，提取所述文本區域在所述待處理圖像中的位置特征；

提取所述文本區域對應的絕對大小特征和相對大小特征；

將所述位置特征、所述絕對大小特征以及所述相對大小特征進行拼接，根據拼接后的特征，確定所述文本區域在所述待處理圖像中對應的空間位置特征。

7.根據權利要求1所述的方法，其特征在于，根據所述圖像特征、所述文本特征和所述空間位置特征，對所述文本區域進行興趣點識別處理，包括：

通過預先訓練的機器學習模型中的特征融合層，對所述圖像特征、所述文本特征和所述空間位置特征進行特征融合，得到目標多模態特征；

根據所述目標多模態特征，對所述文本區域進行興趣點識別。

8.根據權利要求1所述的方法，其特征在于，所述將所述圖像特征、所述文本特征和所述空間位置特征融合，根據融合后的特征對所述文本區域進行興趣點識別，包括：

根據所述圖像特征、所述文本特征和所述空間位置特征，對所述文本區域進行實體分類，得到所述文本區域對應的實體類別；

根據所述實體類別，對所述文本區域進行興趣點識別。

9.根據權利要求1所述的方法，其特征在于，所述機器學習模型通過訓練步驟訓練獲得，所述訓練步驟包括：

獲取樣本圖像和訓練標簽；所述樣本圖像包括樣本文本區域；所述訓練標簽是與所述樣本文本區域對應的興趣點標簽；

根據所述樣本圖像和所述訓練標簽訓練機器學習模型。