[發(fā)明專利]基于三重矩陣分解的數(shù)據(jù)檢索方法、系統(tǒng)及設(shè)備

有效

• 申請?zhí)枺?/td>: 202211298601.6
• 申請日: 2022-10-24
• 公開（公告）號: CN115374165B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 劉興波;李佳敏;聶秀山;王少華;尹義龍
• 申請（專利權(quán)）人: 山東建筑大學(xué)
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/22;G06F17/16;G06F17/18;G06F18/214
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 于鳳洋

本公開提供了一種基于三重矩陣分解的數(shù)據(jù)檢索方法、系統(tǒng)及設(shè)備，屬于信息檢索領(lǐng)域，包括獲取待檢索的圖像和文本兩種模態(tài)的數(shù)據(jù)樣本，對數(shù)據(jù)樣本進(jìn)行三重矩陣分解，設(shè)定對數(shù)據(jù)樣本進(jìn)行三重矩陣分解的約束值，構(gòu)建目標(biāo)函數(shù)；基于目標(biāo)函數(shù)得到哈希函數(shù)，再根據(jù)哈希函數(shù)對數(shù)據(jù)樣本進(jìn)行投影，對應(yīng)生成數(shù)據(jù)樣本的哈希編碼；計算數(shù)據(jù)樣本的哈希編碼和已經(jīng)訓(xùn)練好的哈希編碼之間的漢明距離，并進(jìn)行排序，得到數(shù)據(jù)樣本的檢索結(jié)果，有效的挖掘到模態(tài)內(nèi)的多樣性和模態(tài)間的一致性信息，從而提升哈希函數(shù)和哈希編碼的判別性，具有訓(xùn)練和檢索速度快、檢索性能高的特點(diǎn)。

技術(shù)領(lǐng)域

本公開涉及信息檢索技術(shù)領(lǐng)域，具體涉及一種基于三重矩陣分解的數(shù)據(jù)檢索方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

隨著互聯(lián)網(wǎng)、云計算和多媒體等技術(shù)的迅速發(fā)展，社交媒體中不同模態(tài)數(shù)據(jù)的呈現(xiàn)爆炸式的增長趨勢，因此用戶不再滿足于單一模態(tài)數(shù)據(jù)間的相似性檢索，而更多的關(guān)注于跨模態(tài)數(shù)據(jù)間相互檢索，跨模態(tài)檢索的任務(wù)是給定一個模態(tài)的查詢對象，期望找到另一模態(tài)中的與之語義相似的集合，如文本檢索圖像、圖像檢索文本等。

然而，現(xiàn)有的多模態(tài)數(shù)據(jù)具有維度高和樣本海量的特點(diǎn)，多數(shù)方案中并沒有考慮異構(gòu)性、語義鴻溝和可靠的標(biāo)簽信息數(shù)據(jù)，并且上述數(shù)據(jù)也比較難以獲取到。

發(fā)明內(nèi)容

本公開為了解決上述問題，提出了基于三重矩陣分解的數(shù)據(jù)檢索方法及系統(tǒng)，利用三重矩陣分解模型將異構(gòu)數(shù)據(jù)投影到統(tǒng)一的低維子空間，自適應(yīng)地學(xué)習(xí)類屬性特征，獲得具有語義嵌入信息的公共表示；引入一種魯棒的損失函數(shù)，增強(qiáng)模型對離群點(diǎn)樣本的魯棒性，生成高質(zhì)量的公共表示和哈希編碼；針對樣本外擴(kuò)展問題，提出了一種雙重哈希函數(shù)策略，期望挖掘到模態(tài)內(nèi)的多樣性和模態(tài)間的一致性信息，從而提升哈希函數(shù)和哈希編碼的判別性，具有訓(xùn)練和檢索速度快、檢索性能高的特點(diǎn)。

根據(jù)一些實(shí)施例，本公開采用如下技術(shù)方案：

基于三重矩陣分解的數(shù)據(jù)檢索方法，包括以下步驟：

獲取待檢索的圖像和文本兩種模態(tài)的數(shù)據(jù)樣本，并進(jìn)行預(yù)處理；

對數(shù)據(jù)樣本進(jìn)行三重矩陣分解，設(shè)定對數(shù)據(jù)樣本進(jìn)行三重矩陣分解的約束值，構(gòu)建目標(biāo)函數(shù)；

基于目標(biāo)函數(shù)得到哈希函數(shù)，再根據(jù)哈希函數(shù)對數(shù)據(jù)樣本進(jìn)行投影，對應(yīng)生成數(shù)據(jù)樣本的哈希編碼；

計算數(shù)據(jù)樣本的哈希編碼和已經(jīng)訓(xùn)練好的哈希編碼之間的漢明距離，并進(jìn)行排序，得到數(shù)據(jù)樣本的檢索結(jié)果。

根據(jù)另一些實(shí)施例，本公開采用如下技術(shù)方案：

基于三重矩陣分解的數(shù)據(jù)檢索系統(tǒng)，包括：

數(shù)據(jù)采集模塊，用于獲取待檢索的圖像和文本兩種模態(tài)的數(shù)據(jù)樣本，并進(jìn)行預(yù)處理；

模型構(gòu)建模塊，用于對數(shù)據(jù)樣本進(jìn)行三重矩陣分解，設(shè)定對數(shù)據(jù)樣本進(jìn)行三重矩陣分解的約束值，構(gòu)建目標(biāo)函數(shù)；

哈希碼矩陣和哈希函數(shù)生成模塊，用于基于目標(biāo)函數(shù)得到哈希函數(shù)，再根據(jù)哈希函數(shù)對數(shù)據(jù)樣本進(jìn)行投影，對應(yīng)生成數(shù)據(jù)樣本的哈希編碼；

檢索結(jié)果獲取模塊，用于計算數(shù)據(jù)樣本的哈希編碼和已經(jīng)訓(xùn)練好的哈希編碼之間的漢明距離，并進(jìn)行排序，得到數(shù)據(jù)樣本的檢索結(jié)果。

根據(jù)一些實(shí)施例，本公開還采用如下技術(shù)方案：

一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的程序，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)所述的基于三重矩陣分解的數(shù)據(jù)檢索方法中的步驟。

與現(xiàn)有技術(shù)相比，本公開的有益效果為：