[發明專利]基于復合注意力的原始特征注入網絡的視覺問答方法

有效

• 申請號: 202110010417.6
• 申請日: 2021-01-06
• 公開（公告）號: CN112905819B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 吳春雷;路靜;王雷全;吳杰;段海龍
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06F16/532
• 分類號: G06F16/532;G06F16/538;G06F16/583;G06V10/44;G06V10/70;G06N20/00;G06F40/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于復合注意力的原始特征注入網絡的視覺問答方法，其特征在于，所述方法包括以下步驟：

S1.構建視覺特征增強模塊，根據輸入圖像區域之間的相關性來挖掘更完整的視覺特征；

S2.結合S1中的強化特征，在整體的深層框架中利用圖像和問題雙邊信息生成特征；

S3.構建原始信息注入模塊，恢復圖像有價值但不被關注的邊緣信息；

S4.結合S2中的網絡和S3中的網絡構建基于復合注意力的原始特征注入網絡架構；

所述S1的具體過程為：

視覺特征增強模塊根據輸入圖像區域之間的相關性來挖掘更完整的視覺特征，通過考慮圖像中區域與區域之間的關聯度，從而降低整體語義理解上的偏差，我們在下面描述詳細的操作：

給定一個特征分別通過3個1*1的卷積核生成F_q,F_k,F_v：

F_q＝W_qF,F_k＝W_kF,F_v＝W_vF (1)

其中是1*1卷積核的權重矩陣，H＝2048；

由F_q,F_k計算出F的注意力F_A：

F_A＝softmax(F_q^TF_k) (2)

其中F_q^T表示矩陣的轉置，softmax()指的是softmax函數；

再令F_v與F_A相乘后經過平均池化層得到F_A'：

F_A'＝mp(F_vF_A^T) (3)

其中mp()指的是meanpoling函數；

最后，通過F_A'和F相加得到視覺特征增強模塊的輸出：

F_s＝W_sF_A’+F (4)

其中W_s是權重矩陣，其維數是2048*2048；該方法將圖像區域根據它們的語義相關性設置為不同的優先級；根據需要將區域增強模塊重復用于不同級別的表示增強；

所述S2的具體過程為：

復合注意機制，在一個整體的深層框架中更好地利用圖像和問題的雙邊信息和自相關性，它實現了視覺特征增強模塊和協同注意力結構的結合；

問題文本的特征T_l和圖像的特征I_l被輸入到復合注意力處理模塊中；同時，I_l也被發送到視覺特征增強模塊以計算圖像區域的相關性，對應的輸出表示為I_ls，由下式給出：

I_ls＝S_I(I_l) (5)

其中S_I()表示視覺特征增強模塊函數；

再將生成的I_ls和文本特征T_l作為協同注意力的輸入，生成考慮到雙邊信息的數據，T_lsc和I_lsc：

[T_lsc,I_lsc]＝CoA([T_l,I_ls]) (6)

其中CoA()是協同注意運算符；

從視覺特征的角度來看，在結合了I_ls和T_lsc之后，經過線性操作生成與I_ls維度相同的圖像特征信息I_lc：

I_lc＝linear_I(concat(I_ls,T_lsc)) (7)

同理，對于問題特征，將T_ls與I_lsc結合后，經過線性操作生成與T_l維度相同的圖像特征信息T_lc：

T_lc＝linear_T(concat(T_ls,I_lsc)) (8)

其中linear()是線性運算，其中包含1024個具有ReLU非線性和Dropout的隱藏單元；

所述S3的具體過程為：

原始信息注入模塊的目的是恢復圖像邊緣信息，約束圖像原始信息的語義偏差，從而幫助模型正確理解圖像；具體地說，在經過S2后得到視覺特征I_lc和和語言特征T_lc分別與原始特征Ir和Tr結合后，經過線性操作生成與Ilc和Tlc維度相同的圖像特征信息Ilcr和Tlcr：

I_lcr＝linear_I(concat(I_lc,I_r)) (9)

T_lcr＝linear_T(concat(T_lc,T_r)) (10)

其中linear是一個Linear函數，它具有1024個具有ReLU非線性和dropout的隱藏單元。

2.根據權利要求1所述的基于復合注意力的原始特征注入網絡的視覺問答方法，其特征在于，所述S4的具體過程為：

所述的基于復合注意力的原始特征注入網絡的視覺問答方法包含一個視覺特征增強模塊、一個復合注意力模塊和一個原始信息注入模塊。