[發明專利]基于元自步學習的視頻/圖片-文本跨模態匹配訓練方法

有效

• 申請號: 202110643663.5
• 申請日: 2021-06-09
• 公開（公告）號: CN113377990B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 楊陽;位紀偉;徐行;汪政
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/783;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 四川鼎韜律師事務所 51332
• 代理人: 溫利平

1.一種基于元自步學習的視頻/圖片-文本跨模態匹配訓練方法，其特征在于，包括以下步驟：

(1)、構建訓練的輔助網絡

構建一個與用于視頻/圖片-文本跨模態檢索的主特征提取網絡結構相同的輔助特征提取網絡；

構建一個由一層全連接層組成的元自步網絡；

(2)、更新輔助特征提取網絡

在訓練集中提取K對視頻/圖片-文本對送入輔助特征提取網絡，得到視頻/圖片的特征向量以及對應的文本特征向量然后對于第k對視頻/圖片-文本對，計算視頻/圖片的特征向量以及對應的文本特征向量的相似度，并作為正對相似度依據視頻/圖片的特征向量分別計算其與其他K-1個文本特征向量的相似度，并分別作為負對相似度，得到K-1負對相似度，依據文本特征向量分別計算其與其他K-1個視頻/圖片的特征向量的相似度，并分別作為負對相似度，再得到K-1負對相似度，在得到的2(K-1)個負對相似度中，選擇最大的作為最難負對相似度

其中，vi表示視頻/圖像，t表示文本，表示第k個視頻/圖片-文本對，為正對，表示第k個視頻/圖片-文本對對應的最難負對，f_θ表示輔助特征提取網絡；

將正對相似度最難負對相似度送入元自步網絡，得到正對權重最難負對權重表示為：

其中，V(·)是表示元自步網絡，w表示元自步網絡的網絡參數；

采用梯度下降方法更新輔助特征提取網絡的網絡參數θ：

其中，α為學習率，為求關于網絡參數θ的梯度；

(3)、更新元自步網絡

將驗證集K對視頻/圖片-文本對送入輔助特征提取網絡，得到視頻/圖片的特征向量以及對應的文本特征向量然后對于第k對視頻/圖片-文本對，計算視頻/圖片的特征向量以及對應的文本特征向量的相似度，并作為正對相似度依據視頻/圖片的特征向量分別計算其與其他K-1個文本特征向量的相似度，并分別作為負對相似度，得到K-1負對相似度，依據文本特征向量F_t^k，分別計算其與其他K-1個視頻/圖片的特征向量的相似度，并分別作為負對相似度，再得到K-1負對相似度，在得到的2(K-1)個負對相似度中，選擇最大的作為最難負對相似度

其中，表示第k個視頻/圖片-文本對，為正對，表示第k個視頻/圖片-文本對對應的最難負對；

采用梯度下降方法更新元自步網絡的網絡參數w：

其中，β為學習率，為求關于網絡參數w的梯度，λ為常量，右下角加號表示元損失為正；

(4)、更新主特征提取網絡

將訓練集中提取的K對視頻/圖片-文本對送入主特征提取網絡，得到視頻/圖片的特征向量以及對應的文本特征向量FP_t^k；然后對于第k對視頻/圖片-文本對，計算視頻/圖片的特征向量以及對應的文本特征向量FP_t^k的相似度，并作為正對相似度依據視頻/圖片的特征向量分別計算其與其他K-1個文本特征向量FP_t^j,j＝1,2,...K,j≠k的相似度，并分別作為負對相似度，得到K-1負對相似度，依據文本特征向量FP_t^k，分別計算其與其他K-1個視頻/圖片的特征向量的相似度，并分別作為負對相似度，再得到K-1負對相似度，在得到的2(K-1)個負對相似度中，選擇最大的作為最難負對相似度

將正對相似度最難負對相似度送入元自步網絡，得到正對權重最難負對權重表示為：

采用梯度下降方法更新主特征提取網絡的網絡參數θ′：

其中，為求關于網絡參數θ′的梯度；

(5)、迭代更新主特征提取網絡的網絡參數

將主特征提取網絡的網絡參數賦值給輔助特征提取網絡，然后返回步驟(2)，直到梯度下降值小于設定的閾值或迭代達到設定的次數，完成主特征提取網絡訓練，即完成視頻/圖片-文本跨模態匹配訓練。