[發(fā)明專利]一種基于哈希算法和鄰域圖的跨模態(tài)檢索方法及裝置

在審

• 申請?zhí)枺?/td>: 202011224930.7
• 申請日: 2020-11-05
• 公開（公告）號: CN112199531A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設計）人: 杜翠鳳;蔣仕寶;孫廣波;朱春榮
• 申請（專利權(quán)）人: 廣州杰賽科技股份有限公司;廣州杰賽通信規(guī)劃設計院有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06K9/62
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種基于哈希算法和鄰域圖的跨模態(tài)檢索方法，其特征在于，包括：

獲取多模態(tài)原始樣本，對所述多模態(tài)原始樣本經(jīng)過特征變換前后得到的殘差值進行最小化處理，得到最小化殘差值；

根據(jù)協(xié)同矩陣分解方法學習所述多模態(tài)原始樣本之間的潛在關(guān)聯(lián)，并根據(jù)所述潛在關(guān)聯(lián)計算得到所述多模態(tài)原始樣本的模態(tài)間的語義一致性；

采用鄰域圖的流行學習，計算得到所述多模態(tài)原始樣本的模態(tài)內(nèi)的語義一致性；

將所述最小化殘差值、所述模態(tài)間的語義一致性和所述模態(tài)內(nèi)的語義一致性，結(jié)合避免過度擬合的正則化項計算得到目標函數(shù)。

2.如權(quán)利里要求1所述的基于哈希算法和鄰域圖的跨模態(tài)檢索方法，其特征在于，所述獲取多模態(tài)原始樣本，對所述多模態(tài)原始樣本經(jīng)過特征變換前后得到的殘差值進行最小化處理，得到最小化殘差值，具體為：

通過設置所述多模態(tài)樣本中的每一樣本對應的哈希碼得到訓練集的哈希碼集，將所述哈希碼集以及預設的語義標簽矩陣根據(jù)誤差最小化的原則，得到所述多模態(tài)原始樣本的最小化殘差值。

3.如權(quán)利要求1所述的基于哈希算法和鄰域圖的跨模態(tài)檢索方法，其特征在于，所述根據(jù)協(xié)同矩陣分解方法學習所述多模態(tài)原始樣本之間的潛在關(guān)聯(lián)，并根據(jù)所述潛在關(guān)聯(lián)計算得到所述多模態(tài)原始樣本的模態(tài)間的語義一致性，具體為：

通過對所述多模態(tài)原始樣本進行特征提取，得到圖像基本特征矩陣和文本基本特征矩陣；根據(jù)所述圖像基本特征矩陣和所述文本基本特征矩陣計算得到模態(tài)間的語義一致性。

4.如權(quán)利要求3所述的基于哈希算法和鄰域圖的跨模態(tài)檢索方法，其特征在于，所述采用鄰域圖的流行學習，計算得到所述多模態(tài)原始樣本的模態(tài)內(nèi)的語義一致性，具體為：

構(gòu)造同一模態(tài)數(shù)據(jù)之間的鄰域圖表示樣本的局部關(guān)系，根據(jù)所述鄰域圖以及所述圖像基本特征矩陣和所述文本基本特征圖像計算得到所述多模態(tài)原始樣本的模態(tài)內(nèi)的語義一致性。

5.如權(quán)利要求1所述的基于哈希算法和鄰域圖的跨模態(tài)檢索方法，其特征在于，所述正則化項包括回歸系數(shù)矩陣、樣本噪音矩陣、所述圖像基本特征矩陣和所述文本基本特征矩陣。

6.一種基于哈希算法和鄰域圖的跨模態(tài)檢索裝置，其特征在于，包括：

最小化處理模塊，用于獲取多模態(tài)原始樣本，對所述多模態(tài)原始樣本經(jīng)過特征變換前后得到的殘差值進行最小化處理，得到最小化殘差值；

第一計算模塊，用于根據(jù)協(xié)同矩陣分解方法學習所述多模態(tài)原始樣本之間的潛在關(guān)聯(lián)，并根據(jù)所述潛在關(guān)聯(lián)計算得到所述多模態(tài)原始樣本的模態(tài)間的語義一致性；

第二計算模塊，用于采用鄰域圖的流行學習，計算得到所述多模態(tài)原始樣本的模態(tài)內(nèi)的語義一致性；

第三計算模塊，用于將所述最小化殘差值、所述模態(tài)間的語義一致性和所述模態(tài)內(nèi)的語義一致性，結(jié)合避免過度擬合的正則化項計算得到目標函數(shù)。

7.如權(quán)利里要求6所述的基于哈希算法和鄰域圖的跨模態(tài)檢索裝置，其特征在于，所述最小化處理模塊，具體用于：

通過設置所述多模態(tài)樣本中的每一樣本對應的哈希碼得到訓練集的哈希碼集，將所述哈希碼集以及預設的語義標簽矩陣根據(jù)誤差最小化的原則，得到所述多模態(tài)原始樣本的最小化殘差值。

8.如權(quán)利要求6所述的基于哈希算法和鄰域圖的跨模態(tài)檢索裝置，其特征在于，所述第一計算模塊，具體用于：

通過對所述多模態(tài)原始樣本進行特征提取，得到圖像基本特征矩陣和文本基本特征矩陣；根據(jù)所述圖像基本特征矩陣和所述文本基本特征矩陣計算得到模態(tài)間的語義一致性。

9.如權(quán)利要求8所述的基于哈希算法和鄰域圖的跨模態(tài)檢索裝置，其特征在于，所述第二計算模塊，具體用于：

構(gòu)造同一模態(tài)數(shù)據(jù)之間的鄰域圖表示樣本的局部關(guān)系，根據(jù)所述鄰域圖以及所述圖像基本特征矩陣和所述文本基本特征圖像計算得到所述多模態(tài)原始樣本的模態(tài)內(nèi)的語義一致性。

10.如權(quán)利要求1所述的基于哈希算法和鄰域圖的跨模態(tài)檢索方法，其特征在于，所述正則化項包括回歸系數(shù)矩陣、樣本噪音矩陣、所述圖像基本特征矩陣和所述文本基本特征矩陣。