[發明專利]一種基于自適應聚類學習的視覺關系檢測方法

有效

• 申請號: 201911341230.3
• 申請日: 2019-12-23
• 公開（公告）號: CN111125406B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 劉安安;王彥暉;徐寧;聶為之
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/583;G06V10/762
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于自適應聚類學習的視覺關系檢測方法，其特征在于，所述方法包括：

從輸入圖像中檢測視覺實體并通過上下文信息傳遞機制識別視覺實體，獲得視覺實體上下文表征；

將成對視覺實體上下文表征統一低維嵌入聯合子空間中，獲取視覺關系共享表示特征；

將成對視覺實體上下文表征分別低維嵌入多個不同聚類子空間中，獲取多個初步視覺關系增強表示特征；通過聚類驅動的注意力機制對不同聚類子空間的多個初步視覺關系增強表示特征進行正則化；

將視覺關系共享表示特征，正則化后的視覺關系增強表示特征與視覺關系謂詞類別標簽的先驗條件分布融合，對視覺關系謂詞進行綜合關系推理；

其中，所述獲取視覺關系共享表示特征具體為：

將檢測得到的主語視覺實體上下文表征定義為d_i，賓語視覺實體上下文表征定義為d_j，主語視覺實體上下文表征和賓語視覺實體上下文表征包括多個視覺實體上下文表征中任意不相同的兩個，將主語視覺實體與賓語視覺實體對應的視覺關系候選區域的卷積神經網絡特征定義為f_i,j，視覺關系共享表示特征為：

其中，W_es，W_eo分別表示將視覺實體上下文表征映射到聯合關系子空間的聯合主語映射矩陣與聯合賓語映射矩陣；

其中，聯合主語映射矩陣與聯合賓語映射矩陣均為將視覺實體上下文表征映射到聯合關系子空間的映射矩陣；

視覺關系候選區域為能夠完全覆蓋對應主語視覺實體候選區域和賓語視覺實體候選區域的最小矩形框；卷積神經網絡特征由任意卷積神經網絡從視覺關系候選區域中提取得到；

所述獲取多個初步視覺關系增強表示特征具體為：

第k個初步視覺關系增強表示特征為：

其中，分別表示將視覺特征映射到第k個聚類關系子空間的聚類主語映射矩陣與聚類賓語映射矩陣，表示得到的第k個初步視覺關系增強表示特征，K表示聚類子空間個數；

其中，第k個聚類主語映射矩陣、第k個聚類賓語映射矩陣均為將視覺實體上下文表征映射到第k個聚類關系子空間的映射矩陣；

所述通過聚類驅動的注意力機制對不同聚類子空間的多個初步視覺關系增強表示特征進行正則化具體為：

將得到的第k個初步視覺關系增強表示特征定義為正則化后的視覺關系增強表示特征得到：

其中，表示將第k個初步視覺關系增強表示特征進行轉換的正則化映射矩陣，表示正則化后的視覺關系增強表示特征；

其中，第k個正則化映射矩陣為第k個對初步視覺關系增強表示特征進行轉換的映射矩陣；

將第i，j個視覺實體類別標簽定義為和聚類子空間的注意力分數為：

其中，表示第k個注意力映射矩陣，w(·,·)表示視覺關系先驗函數，表示計算得到的第k個聚類子空間的注意力分數；

其中，第k個注意力映射矩陣為對視覺關系謂詞類別標簽的先驗條件分布進行轉換的映射矩陣；

所述將視覺關系共享表示特征，正則化后的視覺關系增強表示特征與視覺關系謂詞類別標簽的先驗條件分布融合，對視覺關系謂詞進行綜合關系推理具體為：

將視覺關系共享表示特征定義為正則化后的視覺關系增強表示特征定義為視覺關系先驗函數定義為w(·,·)，則第i，j個視覺實體對應視覺關系謂詞的概率分布Pr(d_i→j|B,O)得到：

其中，分別表示學習到的視覺關系共享映射矩陣與視覺關系增強映射矩陣，表示在主語視覺實體類別標簽為賓語視覺實體類別標簽為時，視覺關系謂詞類別標簽的先驗條件分布；

其中，將主語視覺實體預測類別標簽與賓語視覺實體預測類別標簽輸入視覺關系先驗函數中獲取視覺關系謂詞類別標簽的先驗條件分布。

2.根據權利要求1所述的一種基于自適應聚類學習的視覺關系檢測方法，其特征在于，所述方法還包括：從視覺關系數據集的訓練集樣本中統計視覺關系的經驗分布，并得到視覺關系先驗函數。

3.根據權利要求1所述的一種基于自適應聚類學習的視覺關系檢測方法，其特征在于，所述方法還包括：

構建初始化視覺關系檢測模型，并使用視覺關系數據集中訓練數據訓練初始化視覺關系檢測模型。