[發(fā)明專利]基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法

在審

• 申請?zhí)枺?/td>: 202010526211.4
• 申請日: 2020-06-09
• 公開（公告）號: CN111782833A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 王瓊;柏潔咪;姚亞洲;唐振民
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06K9/62;G06N3/04;G06N3/08;G06F40/284;G06F17/14
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 岑丹

1.一種基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法，其特征在于，具體步驟為：

步驟1、獲取跨媒體數(shù)據(jù)集，對跨媒體數(shù)據(jù)集進行預(yù)處理獲取跨媒體數(shù)據(jù)；

步驟2、分別提取各媒體數(shù)據(jù)的專有特征；

步驟3、提取各媒體數(shù)據(jù)的公共特征；

步驟4、對跨媒體數(shù)據(jù)的專有特征和公共特征進行加權(quán)求和，獲取最終的聯(lián)合特征；

步驟5、利用余弦距離測量不同媒體特征之間的相似度并按相似度對媒體特征進行排序。

2.根據(jù)權(quán)利要求1所述的基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法，其特征在于，所述跨媒體數(shù)據(jù)包括圖像、視頻、文本和音頻數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法，其特征在于，步驟2中分別提取各媒體數(shù)據(jù)的專有特征的具體方法為：

采用基于雙線性CNN的特征提取器提取圖像和視頻數(shù)據(jù)特征；

采用word2vec模型對詞向量進行預(yù)訓(xùn)練，采用基于注意力的雙向長短期網(wǎng)絡(luò)的特征提取器提取文本數(shù)據(jù)特征；

采用基于VGG的特征提取器提取音頻數(shù)據(jù)特征。

4.根據(jù)權(quán)利要求3所述的基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法，其特征在于，采用基于雙線性CNN的特征提取器提取圖像和視頻數(shù)據(jù)特征的具體過程為：

圖像或者視頻數(shù)據(jù)分別經(jīng)過兩個CNN網(wǎng)絡(luò)得到不同的特征，并通過雙線性運算，以得到雙線性特征b(l，i)，具體公式為：

b(l，i)＝E_a(l，i)^TE_b(l，i)

式中，E_a、E_b分別為兩個CNN網(wǎng)絡(luò)的特征提取函數(shù)；

通過池化函數(shù)將所有位置L的雙線性特征匯聚成一個特征，其中，池化函數(shù)具體為：

P(i)＝Σ_l∈Lb(l，i)

匯聚成的特征經(jīng)過全連接層得到最終的圖像和視頻特征。

5.根據(jù)權(quán)利要求3所述的基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法，其特征在于，基于注意力的雙向長短期網(wǎng)絡(luò)的特征提取器提取文本數(shù)據(jù)特征的具體過程為：

通過輸入層接收輸入句子T＝[t₁，t₂，…，t_n]，其中t_i是句子中的第i個單詞，n為句子的長度；

通過嵌入層中預(yù)訓(xùn)練詞向量W矩陣，將句子中的每個單詞t_i轉(zhuǎn)化為特定的詞向量e_i；

通過雙向LSTM網(wǎng)絡(luò)獲得更深層次的特征表示，第i個單詞的輸出具體為：

輸出向量集用H表示，H＝[h₁，h₂，…，h_n]；

通過注意力層分配較大權(quán)值，獲得H的權(quán)重矩陣γ，權(quán)重矩陣γ表示為：

γ＝softmax(w^T tanh(H))

w是訓(xùn)練學(xué)習(xí)得到的參數(shù)向量；

將LSTM層的輸出向量集H和注意力層獲得的權(quán)重矩陣γ相乘獲得句子的特征表示f，即：

f＝Hγ^T

經(jīng)過softmax分類器得到最終的文本特征表示f_pro。

6.根據(jù)權(quán)利要求1所述的基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法，其特征在于，提取各媒體數(shù)據(jù)的公共特征的具體方法為：

構(gòu)建基于FGCrossNet的公共網(wǎng)絡(luò)；

將四種媒體數(shù)據(jù)同時經(jīng)過卷積層、池化層和全連接層，并通過損失函數(shù)一次性學(xué)習(xí)四種媒體的公共特征。

7.根據(jù)權(quán)利要求6所述的基于多模型網(wǎng)絡(luò)的細粒度跨媒體檢索方法，其特征在于，所述損失函數(shù)包括：

交叉熵損失函數(shù)，具體為：

式中，I、T、V、A分別表示圖像、文本、視頻和音頻數(shù)據(jù)，l為單個媒體中所有樣本的交叉熵損失函數(shù)；

中心損失函數(shù)，具體為：

其中，x_j是第j個樣本的特征，為第j個樣本所屬類別的中心的特征；

四元組損失函數(shù)，具體為：

其中x_a，x_p，x_m1，x_m2屬于四種媒體類型，x_a，x_p屬于相同的類別，x_m1，x_m2屬于不同的類別；d()表示L2距離，α₁，α₂是設(shè)置的超參數(shù)；

分布損失函數(shù)，具體為：

式中，c代表某一類別，C代表類別總和，表示兩個分布的距離。