[發(fā)明專利]利用標簽層次信息的多媒體數(shù)據(jù)跨模態(tài)檢索方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010771701.0
• 申請日: 2020-08-04
• 公開（公告）號: CN111930972B
• 公開（公告）日: 2021-04-27
• 發(fā)明（設(shè)計）人: 羅昕;詹雨薇;許信順
• 申請（專利權(quán)）人: 山東大學
• 主分類號: G06F16/432
• 分類號: G06F16/432;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.利用標簽層次信息的多媒體數(shù)據(jù)跨模態(tài)檢索方法，其特征是，包括：

獲取待檢索的第一模態(tài)多媒體數(shù)據(jù)；

對待檢索的第一模態(tài)多媒體數(shù)據(jù)進行特征提取，得到第一哈希碼；當待檢索的第一模態(tài)多媒體數(shù)據(jù)為圖像數(shù)據(jù)，則對待檢索的第一模態(tài)多媒體數(shù)據(jù)，利用預先訓練好的卷積神經(jīng)網(wǎng)絡(luò)CNN進行特征提取，得到第一哈希碼；所述預先訓練好的卷積神經(jīng)網(wǎng)絡(luò)CNN，具體訓練步驟包括：

構(gòu)建第一訓練集，所述第一訓練集為已知圖像類別標簽對應的哈希碼的圖像數(shù)據(jù)；將第一訓練集輸入到卷積神經(jīng)網(wǎng)絡(luò)CNN中，對卷積神經(jīng)網(wǎng)絡(luò)CNN進行訓練，得到預先訓練好的卷積神經(jīng)網(wǎng)絡(luò)CNN；

所述圖像類別標簽對應的哈希碼的獲取步驟包括：

將標簽層次結(jié)構(gòu)中每一層的實例和類別標簽的相似性，嵌入到第一目標函數(shù)中；所述第一目標函數(shù)，用于保持每一層的語義相似性；

將標簽層次結(jié)構(gòu)中跨層的類別標簽與類別標簽的相似性，嵌入到第二目標函數(shù)中；所述第二目標函數(shù)，用于保持跨層的關(guān)聯(lián)信息；

將第一目標函數(shù)與第二目標函數(shù)進行整合，得到最終的目標函數(shù)，最終的目標函數(shù)能夠讓從已知的類別標簽中學習到的哈希碼保持每一層的相似度和跨層的關(guān)聯(lián)度；

對最終的目標函數(shù)進行優(yōu)化求解，得到圖像類別標簽對應的哈希碼；

將第一哈希碼與預存儲的第二模態(tài)的所有多媒體數(shù)據(jù)對應的已知哈希碼進行距離計算；選擇距離最近的若干個哈希碼對應的第二模態(tài)的多媒體數(shù)據(jù)，作為檢索結(jié)果輸出。

2.如權(quán)利要求1所述的方法，其特征是，所述對待檢索的第一模態(tài)多媒體數(shù)據(jù)進行特征提取，得到第一哈希碼；具體步驟包括：

當待檢索的第一模態(tài)多媒體數(shù)據(jù)為文本數(shù)據(jù)，則對待檢索的第一模態(tài)多媒體數(shù)據(jù)，利用預先訓練好的多層感知器MLP模型進行特征提取，得到第一哈希碼。

3.如權(quán)利要求1所述的方法，其特征是，所述卷積神經(jīng)網(wǎng)絡(luò)CNN，包括：依次連接的第一輸入層、第一卷積層、第二卷積層、第三卷積層、第四卷積層、第五卷積層、第一全連接層、第二全連接層和第三全連接層，所述第三全連接層的神經(jīng)元數(shù)量等于第一哈希碼的長度。

4.如權(quán)利要求2所述的方法，其特征是，所述多層感知器MLP模型，包括：依次連接的第二輸入層、第四全連接層和第五全連接層，所述第五全連接層的節(jié)點的數(shù)目等于第一哈希碼的長度。

5.如權(quán)利要求2所述的方法，其特征是，所述預先訓練好的多層感知器MLP模型，具體訓練步驟包括：

構(gòu)建第二訓練集，所述第二訓練集為已知文本類別標簽對應的哈希碼的文本數(shù)據(jù)；將第二訓練集輸入到多層感知器MLP模型中，對多層感知器MLP模型進行訓練，得到預先訓練好的多層感知器MLP模型。

6.如權(quán)利要求5所述的方法，其特征是，所述文本類別標簽對應的哈希碼的獲取步驟包括：

將標簽層次結(jié)構(gòu)中每一層的實例和類別標簽的相似性，嵌入到第一目標函數(shù)中；所述第一目標函數(shù)，用于保持每一層的語義相似性；

將標簽層次結(jié)構(gòu)中跨層的類別標簽與類別標簽的相似性，嵌入到第二目標函數(shù)中；所述第二目標函數(shù)，用于保持跨層的關(guān)聯(lián)信息；

將第一目標函數(shù)與第二目標函數(shù)進行整合，得到最終的目標函數(shù)，最終的目標函數(shù)能夠讓從已知的類別標簽中學習到的哈希碼保持每一層的相似度和跨層的關(guān)聯(lián)度；

對最終的目標函數(shù)進行優(yōu)化求解，得到文本類別標簽對應的哈希碼。