[發(fā)明專利]一種基于圖像生成模型的視覺搜索目標(biāo)解碼方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710748222.5
• 申請(qǐng)日: 2017-08-28
• 公開（公告）號(hào): CN107516113A
• 公開（公告）日: 2017-12-26
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08;G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及視覺搜索領(lǐng)域，尤其是涉及了一種基于圖像生成模型的視覺搜索目標(biāo)解碼方法。

背景技術(shù)

隨著移動(dòng)設(shè)備的普及，搜索的過(guò)程逐漸從PC端轉(zhuǎn)移到了移動(dòng)設(shè)備中，這種從WEB到APP的搜索轉(zhuǎn)變更加符合人們隨時(shí)隨地搜索的特性，人們也在努力思索如何讓搜索更自然化，毫無(wú)疑問(wèn)，更加自然的搜索模式將會(huì)取代傳統(tǒng)的搜索。因此，除了聲音搜索、文字搜索外，現(xiàn)在又出現(xiàn)了一種新的自然搜索模式——視覺搜索。視覺搜索就是從候選的圖片庫(kù)中找到那些與查詢圖片包含相同物體的圖片，這可以應(yīng)用在商品搜索、車輛搜索、圖片素材搜索、書籍CD等的搜索和基于圖像的地理位置識(shí)別等。如今越來(lái)越流行的移動(dòng)商品圖像搜索就是通過(guò)分析利用手機(jī)相機(jī)拍攝的商品照片，從商品庫(kù)中找到相同或相似的商品，幫助用戶買到更加心儀、價(jià)格更低的產(chǎn)品。然而，傳統(tǒng)的識(shí)別方法需要使用訓(xùn)練分類器來(lái)識(shí)別用戶的搜索目標(biāo)，效率低，搜索結(jié)果準(zhǔn)確度不高。

本發(fā)明提出了一種基于圖像生成模型的視覺搜索目標(biāo)解碼方法，先從凝視數(shù)據(jù)中重建搜索目標(biāo)，再使用后驗(yàn)類作為注視編碼，并對(duì)它們的生成模型進(jìn)行調(diào)整，再將凝視數(shù)據(jù)集成到卷積神經(jīng)網(wǎng)絡(luò)中，以預(yù)測(cè)搜索目標(biāo)的類別和屬性；用凝視持續(xù)時(shí)間來(lái)計(jì)算凝視圖像的后驗(yàn)加權(quán)平均值，用不同的修剪策略抑制語(yǔ)義表示中的弱激活，解決噪聲問(wèn)題。本發(fā)明不需要使用訓(xùn)練分類器來(lái)識(shí)別用戶的搜索目標(biāo)，通過(guò)圖像生成模型，多次觀察并進(jìn)行聚合和提取信息，從而有效識(shí)別圖像，準(zhǔn)確獲取圖片，從而大大提高效率。

發(fā)明內(nèi)容

針對(duì)效率低、搜索結(jié)果準(zhǔn)確度不高的問(wèn)題，本發(fā)明的目的在于提供一種基于圖像生成模型的視覺搜索目標(biāo)解碼方法，先從凝視數(shù)據(jù)中重建搜索目標(biāo)，再使用后驗(yàn)類作為注視編碼，并對(duì)它們的生成模型進(jìn)行調(diào)整，再將凝視數(shù)據(jù)集成到卷積神經(jīng)網(wǎng)絡(luò)中，以預(yù)測(cè)搜索目標(biāo)的類別和屬性；用凝視持續(xù)時(shí)間來(lái)計(jì)算凝視圖像的后驗(yàn)加權(quán)平均值，用不同的修剪策略抑制語(yǔ)義表示中的弱激活，解決噪聲問(wèn)題。

為解決上述問(wèn)題，本發(fā)明提供一種基于圖像生成模型的視覺搜索目標(biāo)解碼方法，其主要內(nèi)容包括：

(一)語(yǔ)義凝視編碼器；

(二)視覺搜索目標(biāo)解碼器；

(三)修剪策略。

其中，所述的視覺搜索目標(biāo)解碼，凝視編碼用于將原始凝視數(shù)據(jù)編碼為語(yǔ)義分類空間；生成圖像模型根據(jù)編碼的注視數(shù)據(jù)進(jìn)行調(diào)節(jié)，以解碼用戶的可視搜索目標(biāo)；

參與者在拼貼圖像I中搜索目標(biāo)類別在搜索任務(wù)期間，用戶執(zhí)行F(I,C,P)＝(x_i,y_i,t_i),i＝1,…,N，其中每個(gè)注視是屏幕坐標(biāo)的三分之一位置x_i,y_i，注視持續(xù)時(shí)間為t_i；目標(biāo)是從下式中對(duì)目標(biāo)類別c的視覺搜索目標(biāo)ST進(jìn)行采樣；

其中，P(c|F(I,C,P))對(duì)應(yīng)于將注視數(shù)據(jù)編碼成c和P(ST|c)的語(yǔ)義空間，從該語(yǔ)義空間到視覺搜索目標(biāo)的解碼。

進(jìn)一步地，所述的視覺搜索目標(biāo)，將凝視數(shù)據(jù)集成到卷積神經(jīng)網(wǎng)絡(luò)中，以預(yù)測(cè)搜索目標(biāo)的類別和屬性；使用凝視池作為凝視編碼器，第一步是先從凝視數(shù)據(jù)中重建搜索目標(biāo)。

其中，所述的語(yǔ)義凝視編碼器，用固定密度圖(FDM)表示固定：

其中，每個(gè)凝視f由在凝視點(diǎn)FDM(f)的位置處的凝視方差的高斯空間分布表示；然后將FDM與視覺特征F(I)組合，從凝視池層中的GAP深度學(xué)習(xí)架構(gòu)獲得；通過(guò)FDM和F(I)的元素乘法完成積分：

為了得到最終的類預(yù)測(cè)，將加權(quán)特征圖進(jìn)行平均，并將其饋送到完全連接層和softmax層中：

p(C|I,F)＝softmax(WGAP_GWFM(I,G)+b) (4)

其中，W是學(xué)習(xí)權(quán)重，b是偏差；使用后驗(yàn)類作為注視編碼，并對(duì)它們的生成模型進(jìn)行調(diào)整。

其中，所述的視覺搜索目標(biāo)解碼器，為了對(duì)用戶的視覺搜索目標(biāo)進(jìn)行采樣，采用一個(gè)生成圖像模型，根據(jù)通過(guò)凝視池層和潛在隨機(jī)變量z預(yù)測(cè)類別后驗(yàn)。

進(jìn)一步地，所述的類別條件圖像生成模型，給定類別矢量和潛在變量目標(biāo)是建立一個(gè)生成圖像的生成模型p_θ(x|y,z)；

生成的圖像根據(jù)分類信息和潛在變量進(jìn)行調(diào)節(jié)；在條件變分自動(dòng)編碼器中，引入輔助分布q_φ(z|x,y)，以逼近真實(shí)后驗(yàn)分布p_θ(z|x,y)。