[發(fā)明專利]一種基于混合遷移網(wǎng)絡(luò)的跨媒體檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710378474.3
• 申請(qǐng)日: 2017-05-25
• 公開（公告）號(hào): CN107220337B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 黃鑫;彭宇新
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06F16/43
• 分類號(hào): G06F16/43;G06F40/30;G06N5/02
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

1.一種基于混合遷移網(wǎng)絡(luò)的跨媒體檢索方法，包括以下步驟：

(1)建立包含一種媒體類型的單媒體數(shù)據(jù)庫，同時(shí)建立包含多種媒體類型的跨媒體數(shù)據(jù)庫，并將所述跨媒體數(shù)據(jù)庫中的數(shù)據(jù)分為訓(xùn)練集和測(cè)試集；

(2)利用單媒體數(shù)據(jù)庫和跨媒體數(shù)據(jù)庫的訓(xùn)練集中的數(shù)據(jù)訓(xùn)練混合遷移網(wǎng)絡(luò)，用于學(xué)習(xí)不同媒體數(shù)據(jù)的統(tǒng)一表征；所述混合遷移網(wǎng)絡(luò)包括媒體共享遷移子網(wǎng)絡(luò)和網(wǎng)絡(luò)層共享關(guān)聯(lián)子網(wǎng)絡(luò)；其中媒體共享遷移子網(wǎng)絡(luò)以源域、目標(biāo)域中的共有媒體為橋梁，聯(lián)合進(jìn)行單媒體遷移和跨媒體遷移，使得單媒體源域中的知識(shí)能夠被同時(shí)遷移到目標(biāo)域中的所有媒體；網(wǎng)絡(luò)層共享關(guān)聯(lián)子網(wǎng)絡(luò)則利用網(wǎng)絡(luò)層共享的方式，充分考慮蘊(yùn)含于目標(biāo)域中的跨媒體關(guān)聯(lián)關(guān)系，使得屬于相同語義類別的跨媒體數(shù)據(jù)生成相近的統(tǒng)一表征；

(3)利用訓(xùn)練好的混合遷移網(wǎng)絡(luò)，得到跨媒體數(shù)據(jù)庫的測(cè)試集中數(shù)據(jù)的統(tǒng)一表征，進(jìn)而計(jì)算跨媒體數(shù)據(jù)的相似性；

(4)使用跨媒體測(cè)試集中的一種媒體類型作為查詢集，另一種媒體類型作為檢索庫，利用查詢集中的每個(gè)數(shù)據(jù)作為樣例，與檢索庫中的每個(gè)數(shù)據(jù)計(jì)算相似性，根據(jù)相似性得到檢索結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，步驟(1)中的單媒體數(shù)據(jù)庫包括一種媒體類型；跨媒體數(shù)據(jù)庫包括兩種媒體類型，其中一種為單媒體數(shù)據(jù)庫的媒體類型。

3.如權(quán)利要求1所述的方法，其特征在于，步驟(2)中的媒體共享遷移子網(wǎng)絡(luò)共有三路輸入：源域圖像、目標(biāo)域圖像、目標(biāo)域文本，三路輸入分別經(jīng)過兩層全連接網(wǎng)絡(luò)處理；在訓(xùn)練過程中聯(lián)合考慮單媒體遷移和跨媒體遷移兩個(gè)方面來實(shí)現(xiàn)從單媒體源域到跨媒體目標(biāo)域的知識(shí)遷移；所述單媒體遷移發(fā)生在源域圖像和目標(biāo)域圖像兩路網(wǎng)絡(luò)之間，所述跨媒體遷移發(fā)生在目標(biāo)域圖像與目標(biāo)域文本之間。

4.如權(quán)利要求3所述的方法，其特征在于，所述單媒體遷移采用特征適應(yīng)方式進(jìn)行，定義兩個(gè)域中圖像數(shù)據(jù)a與b的最大平均差異在再生希爾伯特空間H_k中的平方形式為：

其中，i^s和i^t分別表示源域、目標(biāo)域的輸入圖像，表示深度網(wǎng)絡(luò)中網(wǎng)絡(luò)層的輸出，E_a和E_b表示源域、目標(biāo)域上的期望；

據(jù)此，構(gòu)建單媒體遷移損失項(xiàng)如下：

其中，l₆與l₇為源域圖像、目標(biāo)域圖像兩路網(wǎng)絡(luò)中對(duì)應(yīng)的全連接層，I^s和I^t分別表示源域、目標(biāo)域的圖像集合；此外，源域圖像網(wǎng)絡(luò)也需要在I^s上進(jìn)行微調(diào)以挖掘源域和目標(biāo)域的語義關(guān)聯(lián)信息，為此建立源域監(jiān)督損失項(xiàng)：

其中，表示源域中的帶標(biāo)注圖像，為的標(biāo)注標(biāo)簽，θ^s表示目標(biāo)域分支的網(wǎng)絡(luò)參數(shù)，m表示源域中有標(biāo)注的圖像數(shù)量，為softmax損失項(xiàng)，定義如下：

其中θ為網(wǎng)絡(luò)參數(shù)，y為數(shù)據(jù)x的標(biāo)簽，c為x所有可能的標(biāo)簽數(shù)量；1{y＝j(luò)}為指示函數(shù)，若y＝j(luò)則返回1，否則為0。

5.如權(quán)利要求3所述的方法，其特征在于，所述跨媒體遷移中每個(gè)圖像-文本對(duì)具有相關(guān)的高層語義，因此使它們的網(wǎng)絡(luò)層具有相似的輸出以實(shí)現(xiàn)跨媒體知識(shí)遷移；令每個(gè)圖像-文本對(duì)為定義跨媒體差異如下：

其中，和分別表示一個(gè)圖像-文本對(duì)中帶標(biāo)注的圖像和文本數(shù)據(jù)，表示深度網(wǎng)絡(luò)中網(wǎng)絡(luò)層的輸出，據(jù)此建立跨媒體遷移損失項(xiàng)如下：

其中，l₆與l₇為目標(biāo)域圖像、文本兩路網(wǎng)絡(luò)中對(duì)應(yīng)的全連接層，n_l表示目標(biāo)域帶標(biāo)注的圖像-文本對(duì)數(shù)量。