[發(fā)明專利]基于圖正則化非負(fù)矩陣分解的在線單模態(tài)哈希檢索方法

在審

• 申請?zhí)枺?/td>: 201910635330.0
• 申請日: 2019-07-15
• 公開（公告）號: CN110516026A
• 公開（公告）日: 2019-11-29
• 發(fā)明（設(shè)計(jì)）人: 王笛;王泉;萬波;安亞強(qiáng);田玉敏;楊鵬飛;趙輝
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/51;G06F16/953;G06K9/62
• 代理公司: 61205 陜西電子工業(yè)專利中心
• 代理人: 田文英;王品華<國際申請>=<國際公布>

1.一種基于圖正則化非負(fù)矩陣分解的在線單模態(tài)哈希檢索方法，其特征在于，在線實(shí)時(shí)獲取有標(biāo)簽圖像或文本數(shù)據(jù)，利用圖正則化非負(fù)矩陣分解構(gòu)造信息損失函數(shù)，在線有監(jiān)督訓(xùn)練單模態(tài)哈希檢索模型，該方法的具體步驟包括如下：

(1)生成初始訓(xùn)練集：

(1a)采集不少于50個(gè)圖像樣本或文本樣本組成初始訓(xùn)練集，每個(gè)圖像樣本包含圖像和其標(biāo)簽，每個(gè)文本樣本包含文本和其標(biāo)簽；

(1b)利用樣本轉(zhuǎn)化方法，將初始訓(xùn)練集中的每個(gè)圖像樣本或文本樣本轉(zhuǎn)化成圖像或文本信息矩陣；

(1c)利用歸一化公式，將圖像或文本信息矩陣中的所有元素進(jìn)行歸一化處理，得到歸一化后的圖像或文本信息矩陣；

(1d)將歸一化后的圖像或文本信息矩陣存入到信息檢索系統(tǒng)中；

(2)在線有監(jiān)督訓(xùn)練單模態(tài)哈希檢索模型：

(2a)信息檢索系統(tǒng)在線實(shí)時(shí)獲取不少于50個(gè)帶標(biāo)簽的圖像或文本樣本，組成數(shù)據(jù)集，依次利用樣本轉(zhuǎn)化方法和歸一化公式，對每個(gè)帶標(biāo)簽的圖像或文本樣本進(jìn)行預(yù)處理，得到歸一化后的圖像或文本信息矩陣；

(2b)在信息檢索系統(tǒng)中創(chuàng)建一個(gè)大小為50的緩沖區(qū)；

(2c)從數(shù)據(jù)集中任選一個(gè)未選過的圖像或文本樣本加入到緩沖區(qū)中；

(2d)判斷緩沖區(qū)中的圖像或文本樣本的總數(shù)是否大于50，若是，則刪除緩沖區(qū)中的第一個(gè)圖像或文本樣本后執(zhí)行步驟(2e)，否則，執(zhí)行步驟(2c)；

(2e)按照下式，確定由圖像或文本樣本的標(biāo)簽信息構(gòu)造的相似度矩陣中的每個(gè)元素值：

其中，w_pq表示相似度矩陣中第p行第q列的元素值，x_s表示歸一化后的圖像或文本信息矩陣中的第s個(gè)樣本，x_f表示歸一化后的圖像或文本信息矩陣中的第f個(gè)樣本，p和s的取值相等，q和f的取值相等；

(3)利用圖正則化非負(fù)矩陣分解構(gòu)造信息損失函數(shù)：

(3a)按照下式，將標(biāo)簽信息添加到非負(fù)矩陣分解的分解過程中，計(jì)算圖正則化損失值：

F₁＝Tr(VLV^T)

其中，F(xiàn)₁表示圖正則化損失值，Tr表示矩陣跡操作，V表示分解矩陣，L表示由相似度矩陣減去相似度矩陣的對角矩陣得到的對角相似度矩陣，T表示對矩陣做轉(zhuǎn)置操作；

(3b)按照下式，將圖正則化添加到非負(fù)矩陣分解的分解過程中，構(gòu)造基于圖正則化非負(fù)矩陣分解損失函數(shù)：

其中，F(xiàn)₂表示基于圖正則化非負(fù)矩陣分解損失函數(shù)，|| ||_F表示F范數(shù)操作，X表示歸一化后的圖像或文本信息矩陣，U表示基矩陣，V表示分解矩陣，λ表示偏置參數(shù)，λ的取值為10，Tr表示矩陣跡操作，L表示由相似度矩陣減去相似度矩陣的對角矩陣得到的對角相似度矩陣，T表示對矩陣做轉(zhuǎn)置操作；

(3c)隨機(jī)生成三個(gè)矩陣其中，U表示潛在語義矩陣，∈表示屬于符號，R表示實(shí)數(shù)集，d₁和d₂分別表示取值為圖像或文本信息矩陣的列數(shù)的潛在語義矩陣和投影矩陣的行數(shù)，d₁和d₂的取值對應(yīng)相等，k₁、k₂和k₃表示取值相等的哈希編碼長度，其數(shù)值由用戶從8bit，16bit，24bit，32bit，64bit，128bit的編碼長度中隨機(jī)選取的一個(gè)值，P表示投影矩陣，V表示哈希編碼矩陣，T表示轉(zhuǎn)置操作，d₃表示取值為50的哈希編碼矩陣的行數(shù)；

(3d)按照下式，構(gòu)造包含潛在語義矩陣、哈希編碼矩陣和投影矩陣的信息損失函數(shù)：

其中，F(xiàn)表示包含潛在語義矩陣、哈希編碼矩陣和投影矩陣的信息損失函數(shù)，|| ||_F表示F范數(shù)操作，X表示歸一化后的信息矩陣，L表示對角相似度矩陣，λ、μ、γ表示用于平衡矩陣分解與矩陣映射之間權(quán)重關(guān)系的參數(shù)，λ的取值為10，μ的取值為0.1，γ的取值為0.001；

(4)獲得最優(yōu)投影矩陣和哈希編碼：

(4a)分別對當(dāng)前的投影矩陣、潛在語義矩陣和哈希編碼矩陣求一階偏導(dǎo)，并令求導(dǎo)得到的一階導(dǎo)數(shù)等于零，得到更新后的哈希編碼矩陣、更新后的投影矩陣和更新后的潛在語義矩陣；

(4b)將更新后的哈希編碼矩陣、更新后的投影矩陣和更新后的潛在語義矩陣分別帶入到信息損失函數(shù)中，得到更新后的信息損失函數(shù)值；

(4c)判斷更新后的信息損失函數(shù)值是否小于更新前的信息損失函數(shù)值，若是，則執(zhí)行步驟(4d)，否則，分別將更新后的哈希編碼矩陣、投影矩陣和潛在語義矩陣作為當(dāng)前的投影矩陣、潛在語義矩陣和哈希編碼矩陣后執(zhí)行步驟(4a)；

(4d)判斷更新后的信息損失函數(shù)值減去更新前的信息損失函數(shù)值的差值是否小于0.001,若是，得到最優(yōu)的投影矩陣、潛在語義矩陣和哈希編碼矩陣后執(zhí)行步驟(4e)，否則，分別將更新后的哈希編碼矩陣、投影矩陣和潛在語義矩陣作為當(dāng)前的投影矩陣、潛在語義矩陣和哈希編碼矩陣后執(zhí)行步驟(4a)；

(4e)將最優(yōu)的哈希編碼矩陣中數(shù)值大于零的元素值設(shè)置為1，其余設(shè)置為0，得到哈希編碼；

(5)生成待檢索的圖像或文本樣本的哈希編碼：

(5a)利用樣本轉(zhuǎn)化方法，將待檢索的圖像或文本樣本轉(zhuǎn)化成圖像或文本信息矩陣；

(5b)利用歸一化公式，將圖像或文本信息矩陣中的所有元素進(jìn)行歸一化處理，得到歸一化后的圖像或文本信息矩陣；

(5c)用待檢索樣本的圖像或文本信息矩陣與最優(yōu)投影矩陣相乘，得到待檢索圖像或文本樣本的哈希編碼矩陣；

(5d)將待檢索圖像或文本樣本的哈希編碼矩陣中數(shù)值大于零的元素值設(shè)置為1，其余設(shè)置為0，得到待檢索的圖像或文本樣本的哈希編碼；

(6)獲取檢索結(jié)果：

(6a)對待檢索圖像或文本樣本的哈希編碼與已有的圖像或文本樣本的哈希編碼進(jìn)行異或操作，得到漢明距離；

(6b)將數(shù)據(jù)庫中存儲的樣本按照漢明距離的大小從小到大進(jìn)行排序，將排序后的前50個(gè)樣本作為檢索結(jié)果。