[發明專利]一種基于視覺和空間關系融合的圖注意力網絡構建方法

在審

• 申請號: 202010946723.6
• 申請日: 2020-09-10
• 公開（公告）號: CN112184805A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 俞俊;楊艷
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于視覺和空間關系融合的圖注意力網絡構建方法，其特征在于包括如下步驟：

步驟(1)、對輸入圖像中的目標對象，計算目標對象對應的視覺特征和絕對位置特征；

利用每個目標對象的視覺特征和絕對位置特征，構成輸入圖像所形成圖中的一個雙屬性節點，最終形成一個圖；

步驟(2)、計算圖中每個鄰節點到中心節點之間的空間幾何相對位置特征；

步驟(3)、計算每個鄰節點到中心節點之間的注意力權重，注意力權重包括視覺注意力和復合注意力兩部分信息；

步驟(4)、計算每個鄰節點到中心節點的傳遞信息，傳遞信息包括視覺傳遞信息和復合傳遞信息兩方面內容；

步驟(5)、將一個中心節點對應的所有鄰節點到該中心節點的傳遞信息和對應的注意力權重分別相乘后求和，得到聚合后這個中心節點的信息。

2.根據權利要求1所述的一種基于視覺和空間關系融合的圖注意力網絡構建方法，其特征在于步驟(1)具體實現如下：

步驟(1)中的視覺特征是指輸入圖像中一個目標對象的視覺特征；

步驟(1)中的絕對位置特征是指輸入圖像中一個目標對象的絕對位置特征；具體公式如下：

其中,i表示圖中的第i個雙屬性節點；c_1i和c_2i是目標對象的中心位置坐標，w_i和h_i分別表示目標對象的長度和寬度。

3.根據權利要求2中所述的一種基于視覺和空間關系融合的注意力網絡構建方法，其特征在于步驟(2)具體實現過程如下：

2-1.給定一個中心節點和對應的鄰節點則它們之間的相對距離相對尺度和相對方向的三種空間位置關系的計算公式分別如下：

2-2.計算空間幾何相對位置特征它由以上三種空間位置特征嵌入得到：

其中，Emb(.)為位置嵌入映射操作。

4.根據權利要求3中所述的一種基于視覺和空間關系融合的圖注意力網絡構建方法，其特征在于步驟(3)具體實現過程如下：

3-1.將空間幾何相對位置特征與鄰節點的視覺特征相結合生成復合特征具體公式如下：

其中，‖表示拼接操作；σ表示非線性變換運算；W_*和b_*分別表示權重矩陣和偏置，以下公式同理；其中*指代下標；

3-2.通過中心節點的視覺特征和復合特征計算復合注意力具體計算公式如下：

其中，W_ap+2、W_ap+1和W_t表示不同的全連接層對應的權重矩陣；同理，b_ap+2、b_ap+1和b_t表示不同的全連接層對應的偏置；

3-3.通過中心節點的視覺特征和其對應鄰節點的視覺特征計算視覺注意力具體公式如下：

其中，d_av表示權重矩陣對應的維度；

3-4.采用計算得到的視覺注意力和復合注意力計算圖中每個鄰節點到中心節點之間的注意力權重a_ij，具體公式如下：

其中，α為平衡視覺注意力和復合注意力的一個調和權重，N指代中心節點對應的鄰節點的個數。

5.根據權利要求4所述的一種基于視覺和空間關系融合的圖注意力網絡，其特征在于步驟(4)采用視覺傳遞信息和復合傳遞信息，計算每個鄰節點到中心節點的傳遞信息，具體如下：

4-1.計算視覺傳遞信息和復合傳遞信息對應的公式分別如下：

4-2.采用得到的視覺傳遞信息和復合傳遞信息，計算每個鄰節點到中心節點的傳遞信息具體公式如下：

6.根據權利要求5所述的一種基于視覺和空間關系融合的圖注意力網絡構建方法，其特征在于步驟(5)具體實現公式如下：

其中，N為中心節點對應的所有鄰節點的數量；這個聚合信息僅僅用于更新中心節點的視覺信息，節點的絕對位置特征保持不變。