[發明專利]一種基于數據增強的視覺語義嵌入方法及系統

在審

• 申請號: 202210003468.0
• 申請日: 2022-01-04
• 公開（公告）號: CN114298057A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 曹建軍;曾志賢;翁年鳳;袁震;江春;丁鯤;蔣國權
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/242;G06N5/04;G06N3/04;G06N3/08
• 代理公司: 江蘇瑞途律師事務所 32346
• 代理人: 計璐

1.一種基于數據增強的視覺語義嵌入方法，其特征在于，包括：

接收圖像數據和文本數據；

利用第一網絡模型對圖像進行目標識別，并根據置信度選取若干圖像區域；利用第二網絡模型提取每個所述圖像區域的細粒度特征，通過微調網絡將所述圖像細粒度特征映射到共同嵌入空間，得到圖像在共同嵌入空間的細粒度表示；

根據所述細粒度表示進行第一語義圖推理，獲得第一推理結果；

對第一推理結果進行統一池化操作，得到第一池化結果；

利用第一提取模型提取文本上下文相關的詞向量表示；利用第二提取模型對文本上下文相關的詞向量表示進行微調映射至共同嵌入空間，得到文本在共同嵌入空間中的詞向量表示；

根據所述詞向量表示進行第二語義圖推理，獲得第二推理結果；

對第二推理結果進行統一池化操作，得到第二池化結果；

對所述第一池化結果和第二池化結果進行語義對齊；

所述第二網絡模型、第一提取模型和第二提取模型均利用數據增強后的數據進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述第一網絡模型為在Visual Genome數據集中預訓練的目標識別網絡Faster R-CNN。

3.根據權利要求1所述的方法，其特征在于，所述第二網絡模型為在ImageNet數據集中預訓練的Resnet101。

4.根據權利要求1所述的方法，其特征在于，所述微調網絡為多層感知機連接一層全連接網絡。

5.根據權利要求1所述的方法，其特征在于，所述第一提取模型為BERT-Base-Uncased模型；所述第二提取模型為Bi-GRU網絡模型。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述第一語義圖推理的方法包括：

構建第一全連接語義圖，以圖片的細粒度特征向量表示作為節點，節點間邊的權重采用節點間的相似度表示；

采用圖卷積神經網絡實現第一全連接語義圖中節點之間的語義推理。

7.根據權利要求6所述的方法，其特征在于，所述第一語義圖推理的方法包括：

構建第二全連接語義圖，以詞的向量表示作為節點，節點間邊的權重采用節點間的相似度表示；

采用圖卷積神經網絡實現第二全連接語義圖中節點之間的語義推理。

8.根據權利要求7所述的方法，其特征在于，所述第一池化結果和第二池化結果進行語義對齊包括：

采用熱啟動的方式，在訓練的第一個epoch采用一般跨模態三元組損失函數；

剩余的訓練中采用難負樣本跨模態三元組損失函數。

9.根據權利要求8所述的方法，其特征在于，所述數據增強的方法包括圖像數據增強和文本數據增強；

所述圖像數據增強包括：每個圖像區域都有一定的概率被一個固定的特征向量mask所替換，并生成圖像數據增強的細粒度特征表示；

所述文本數據增強包括：

文本描述中的每個單詞都有一定的概率替換為一個固定的非零特征向量；

文本描述中的每個單詞都有一定的概率被移除；

文本描述中的每個單詞都有一定的概率被詞典中的另一個單詞替換。

10.一種基于數據增強的視覺語義嵌入系統，根據權利要求1-9任一項所述的基于數據增強的視覺語義嵌入方法進行視覺語義嵌入，其特征在于，包括：

數據接收單元，用于接收圖像和文本數據；

圖像特征獲取單元，利用第一網絡模型對圖像進行目標識別，并根據置信度選取若干圖像區域；利用第二網絡模型提取每個所述圖像區域的細粒度特征，通過微調網絡將所述圖像細粒度特征映射到共同嵌入空間，得到圖像在共同嵌入空間的細粒度特征表示；

第一圖推理單元，根據所述細粒度表示進行第一語義圖推理，獲得第一推理結果；

第一池化單元，對第一推理結果進行統一池化操作，得到第一池化結果；

文本特征提取單元，利用第一提取模型提取文本上下文相關的詞向量表示；利用第二提取模型對文本上下文相關的詞向量表示進行微調映射至共同嵌入空間，得到文本在共同嵌入空間中的詞向量表示；

第二圖推理單元，根據所述詞向量表示進行第二語義圖推理，獲得第二推理結果；

第二池化單元，對第二推理結果進行統一池化操作，得到第二池化結果；

語義對齊單元，對所述第一池化結果和第二池化結果進行語義對齊。