[發明專利]圖像的標注方法、裝置及電子設備

在審

• 申請號: 202211630218.6
• 申請日: 2022-12-19
• 公開（公告）號: CN116129177A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 李磊;李源
• 申請（專利權）人: 中科智云科技有限公司;成都點澤智能科技有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/42
• 代理公司: 成都極刻智慧知識產權代理事務所(普通合伙) 51310
• 代理人: 張紅平

1.一種圖像的標注方法，其特征在于，所述方法包括：

對支撐集中的支撐圖像進行圖像特征提取，得到所述支撐圖像的特征向量和所述支撐圖像的特征圖，其中，所述支撐圖像包括標注信息，所述標注信息包括所述支撐圖像中目標物體的類別和用于將所述目標物體從所述支撐圖像中圈定出的邊框信息；

對查詢集中的查詢圖像進行圖像特征提取，得到所述查詢圖像的特征圖；

基于所述支撐圖像的特征圖與所述查詢圖像的特征圖，得到與所述查詢圖像的特征圖同形狀的第一內積變換結果；

基于所述第一內積變換結果得到同一類別目標物體的特征映射熱力圖；

從所述特征映射熱力圖中確定出候選框，并采用所述候選框在所述查詢圖像中截取目標子圖；

提取所述目標子圖的特征向量，基于所述目標子圖的特征向量和所述支撐圖像的特征向量，確定所述查詢圖像中目標物體和所述支撐圖像中目標物體的特征相似度；

根據所述查詢圖像中目標物體和所述支撐圖像中目標物體的特征相似度，輸出所述查詢圖像中目標物體的邊框信息和類別。

2.如權利要求1所述的圖像的標注方法，其特征在于，在從所述特征映射熱力圖中確定出候選框，并采用所述候選框在所述查詢圖像中截取目標子圖的步驟之后，所述方法還包括：

基于所述支撐圖像的特征圖與所述目標子圖的特征圖，得到與所述目標子圖的特征圖同形狀的第二內積變換結果；

基于所述第二內積變換結果更新同一類別的特征映射熱力圖；

基于更新后的特征映射熱力圖對所述候選框進行更新，由更新后的候選框重新在所述查詢圖像中截取目標子圖。

3.如權利要求2所述的圖像的標注方法，其特征在于，所述對支撐集中的支撐圖像進行圖像特征提取，得到所述支撐圖像的特征向量和所述支撐圖像的特征圖的步驟，包括：

將所述支撐集中的支撐圖像輸入圖像特征提取模型中，輸出所述支撐圖像的特征向量和所述支撐圖像的特征圖，并將所述支撐圖像的特征圖中所述邊框信息確定區域之外的區域設置為0；

所述對查詢集中的查詢圖像進行圖像特征提取，得到所述查詢圖像的特征圖的步驟，包括：

將所述查詢集中的查詢圖像輸入所述圖像特征提取模型中，輸出所述查詢圖像的特征圖。

4.如權利要求2所述的圖像的標注方法，其特征在于，所述基于所述支撐圖像的特征圖與所述查詢圖像的特征圖，得到與所述查詢圖像的特征圖同形狀的第一內積變換結果的步驟，包括：

對所述支撐圖像的特征圖與所述查詢圖像的特征圖中所有點進行向量歸一化；

計算向量歸一化后所述支撐圖像的特征圖與所述查詢圖像的特征圖的內積，其中，所述內積的維度為四維；

將所述內積減去該內積中后兩個維度的均值后，在所述內積的前兩個維度上求平均，得到與所述查詢圖像的特征圖同形狀的第一內積變換結果。

5.如權利要求4所述的圖像的標注方法，其特征在于，所述基于所述第一內積變換結果得到同一類別目標物體的特征映射熱力圖的步驟，包括：

對所述第一內積變換結果進行處理，將所述第一內積變換結果中值小于0的點鉗位到0，將所述第一內積變換結果中值大于或等于0的點線性變換到設定的數值區間內；

以圖像插值的方式對所述第一內積變換結果進行處理，得到特征映射熱力圖；

對同一類別目標物體的多個支撐圖像對應的特征映射熱力圖求平均，得到同一類別目標物體的特征映射熱力圖。

6.如權利要求5所述的圖像的標注方法，其特征在于，所述從所述特征映射熱力圖中確定出候選框，并采用所述候選框在所述查詢圖像中截取目標子圖的步驟，包括：

基于所述特征映射熱力圖中連續高亮區域，求出所述特征映射熱力圖中的目標物體的輪廓線；

計算外接所述目標物體的輪廓線的最小外接矩形，將所述最小外接矩形作為所述候選框；

采用所述候選框從所述查詢圖像中截取所述目標子圖。