[發明專利]一種基于多源協同特征的圖像描述生成方法

有效

• 申請號: 202110128180.1
• 申請日: 2021-01-29
• 公開（公告）號: CN112819012B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 孫曉帥;紀榮嶸;駱云鵬
• 申請（專利權）人: 廈門大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/25;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.一種基于多源協同特征的圖像描述生成方法，其特征在于包括以下步驟：

1)采用目標檢測器同時提取圖像的網格特征和區域特征；

2)利用特征的絕對位置信息和相對位置信息，建立一個綜合關系注意力機制輔助模型進行特征理解和關系建模，輔助模型進行特征理解和兩種特征自增強；

所述絕對位置信息為網格特征或區域特征在整張圖片中的位置；所述相對位置信息是先將網格特征和區域特征的幾何信息都表示為矩形框(x,y,w,h)，其中(x,y)為框的左上角坐標，w,h為框的寬度和高度；然后將兩個框box_i和box_j的相對關系表示為一個4維向量：

得到4維相對編碼向量之后，使用PE函數將其也映射為d_model維，d_model為神經網絡的中間層特征維數；

所述特征自增強，在得到絕對位置編碼和相對位置編碼后，使用Transformer模型進行特征自增強；

3)利用特征間的幾何對齊關系，讓兩種特征進行交互協作增強，交換重要的視覺信息，實現更好的視覺表達。

2.如權利要求1所述一種基于多源協同特征的圖像描述生成方法，其特征在于在步驟1)中，所述采用目標檢測器同時提取圖像的網格特征和區域特征的具體方法為：

(1)使用Faster-RCNN作為目標檢測器，在Visual Genome數據集上進行目標檢測和屬性預測訓練；

(2)將目標檢測器檢測出的置信度大于20％的檢測框中對應的圖像特征提取出來作為區域特征，將目標檢測器骨干網絡提取出的特征作為網格特征。

3.如權利要求1所述一種基于多源協同特征的圖像描述生成方法，其特征在于在步驟3)中，所述利用特征間的幾何對齊關系，讓兩種特征進行交互增強，交換重要的視覺信息，實現更好的視覺表達的具體步驟為：

(1)根據區域特征和網格特征的位置信息構建幾何對齊圖；

(2)根據幾何對齊圖進行視覺信息交互和增強。