[發明專利]目標定位方法、裝置、電子設備和介質

有效

• 申請號: 202010340457.2
• 申請日: 2020-04-26
• 公開（公告）號: CN111539341B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 張軒燁;吳毓雙;韓曉光;崔曙光
• 申請（專利權）人: 香港中文大學（深圳）;深圳市大數據研究院
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/764
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 李成龍;劉真

1.一種目標定位方法，包括：

獲得待定位目標的描述信息和待定位圖像，所述待定位目標的描述信息包括自然語言描述信息；

基于所述待定位圖像，生成與所述待定位圖像對應的含有所述待定位圖像中全部語意信息的第一熱力圖；

通過注意力機制處理所述描述信息以及所述第一熱力圖，生成包含所述描述信息的語意特征且過濾掉與描述信息無關的語意信息的語意特征的第二熱力圖；

基于所述第二熱力圖，確定粗糙匹配候選目標定位框；以及

對所述粗糙匹配候選目標定位框進行篩選，得到精細匹配目標定位框；

所述通過注意力機制處理所述描述信息以及所述第一熱力圖，生成包含所述描述信息的語意特征且過濾掉與描述信息無關的語意信息的語意特征的第二熱力圖，包括：

對所述自然語言描述信息進行特征抽取，得到所述自然語言描述信息的第一特征向量；

通過注意力機制，基于所述第一特征向量處理所述第一熱力圖，生成包含所述描述信息的語意特征且過濾掉與描述信息無關的語意信息的語意特征的第二熱力圖；

所述方法，還包括：

基于所述待定位圖像，生成與所述待定位圖像對應的基于顏色的第三熱力圖，

所述通過注意力機制，基于所述第一特征向量處理所述第一熱力圖，生成包含所述描述信息的語意特征且過濾掉與描述信息無關的語意信息的語意特征的第二熱力圖，包括：

基于所述第一特征向量處理所述第三熱力圖，得到第四熱力圖；

將所述第一熱力圖和所述第四熱力圖按照通道級聯，得到第二熱力圖。

2.根據權利要求1所述的方法，其中：

所述第一熱力圖包括基于目標對象的多個區域劃分的多個熱力圖；以及/或者

所述第二熱力圖包括基于所述目標對象的多個區域劃分的多個熱力圖。

3.根據權利要求2所述的方法，其中，所述基于所述待定位圖像，生成與所述待定位圖像對應的含有所述待定位圖像中全部語意信息的第一熱力圖包括：

基于所述待定位圖像，生成含有所述多個區域中的第一區域的語意信息的第一區域熱力圖；

通過所述第一區域熱力圖引導生成含有所述多個區域中的第二區域的語意信息的第二區域熱力圖，

其中，所述第一熱力圖至少包括所述第一區域熱力圖和第二區域熱力圖。

4.根據權利要求1～3中任意一項所述的方法，其中，所述基于所述第二熱力圖，確定粗糙匹配候選目標定位框包括：

將所述待定位圖像與所述第二熱力圖按通道級聯，得到中間圖像；

使用目標定位算法處理所述中間圖像，得到粗糙配候選目標定位框。

5.根據權利要求1～3中任意一項所述的方法，其中，所述對所述粗糙匹配候選目標定位框進行篩選，得到精細匹配目標定位框包括：

基于至少一個所述粗糙匹配候選目標定位框確定至少一個定位區域；

處理所述待定位圖像和所述第二熱力圖中所述定位區域的信息，得到與所述至少一個定位區域對應的第二特征向量；

確定所述第二特征向量與所述第一特征向量之間的相似度；以及

基于所述相似度篩選所述粗糙匹配候選目標定位框，得到精細匹配目標定位框。