[發(fā)明專利]用于細(xì)粒度圖像搜索的對抗學(xué)習(xí)

在審

• 申請?zhí)枺?/td>: 201980034145.4
• 申請日: 2019-05-21
• 公開（公告）號: CN112154452A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 凱文·林;楊帆;王喬松;魯賓遜·皮拉穆圖
• 申請（專利權(quán)）人: 電子灣有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/00
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 杜誠;楊林森

公開的是使用用于細(xì)粒度圖像搜索的對抗學(xué)習(xí)的系統(tǒng)、方法、和計(jì)算機(jī)可讀介質(zhì)。圖像搜索系統(tǒng)接收搜索查詢，搜索查詢包括描繪對象的輸入圖像。搜索系統(tǒng)使用生成器生成標(biāo)準(zhǔn)化視角下對象的向量表示。基于多個(gè)視角下已知對象的參考圖像的集合以及從評估器接收的反饋數(shù)據(jù)訓(xùn)練了生成器，反饋數(shù)據(jù)指示生成器在生成標(biāo)準(zhǔn)化視角下已知對象的向量表示方面的性能。評估器包括生成反饋數(shù)據(jù)的判別器子模塊、標(biāo)準(zhǔn)化器子模塊和語義嵌入子模塊。圖像搜索系統(tǒng)基于對象的向量表示來識別描繪對象的其他圖像的集合，以及響應(yīng)于搜索查詢返回其他圖像中的至少一個(gè)。

優(yōu)先權(quán)聲明

本申請要求2018年5月22日提交的美國申請序列號15/985,818的優(yōu)先權(quán)的權(quán)益，其在此通過引用被全部并入。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施方式一般性涉及搜索查詢，并且更具體地，涉及用于細(xì)粒度圖像搜索的對抗學(xué)習(xí)。

背景技術(shù)

盡管已經(jīng)對計(jì)算機(jī)執(zhí)行的圖像搜索進(jìn)行了廣泛的研究，但是其依然是具有挑戰(zhàn)性的問題。特別地，在細(xì)粒度水平識別圖像極其困難，在細(xì)粒度水平中，目標(biāo)是找到與查詢內(nèi)容屬于同一細(xì)粒度類別的對象(例如，識別汽車的型號和模型)。使用深度神經(jīng)網(wǎng)絡(luò)的許多算法已經(jīng)實(shí)現(xiàn)了在細(xì)粒度分類上的最先進(jìn)的性能，但是它們不可直接應(yīng)用于細(xì)粒度圖像搜索。當(dāng)前的細(xì)粒度分類系統(tǒng)操作包含固定數(shù)量的類別的封閉的數(shù)據(jù)集，并且因此，沒有正確地處理未見過的類別。盡管分類器可以被重新訓(xùn)練以適應(yīng)新的類別，但是頻繁的重新訓(xùn)練由于新數(shù)據(jù)積累而變得極其昂貴。相比之下，設(shè)計(jì)的細(xì)粒度圖像搜索應(yīng)當(dāng)發(fā)現(xiàn)不屬于訓(xùn)練集里的部分的未見過類別。

除了新出現(xiàn)的類別之外，對象的視角和姿態(tài)變化使得找到正確的細(xì)粒度類別更加困難。解決姿態(tài)變化的經(jīng)典方法依賴于匹配局部特征點(diǎn)、改善單應(yīng)性、以及推斷明確的幾何變換，但是它們在計(jì)算上是昂貴的。基于深度神經(jīng)網(wǎng)絡(luò)的最新工作引入了專用模塊來學(xué)習(xí)具體的幾何變換以用于語義對應(yīng)，然而，它們需要預(yù)定義的變換類型和良好初始化的變換矩陣以確保合理的性能。這些類型的系統(tǒng)不能處理復(fù)雜變換，并且因此，假定包含未知變換的增長的數(shù)據(jù)庫，則這些類型的系統(tǒng)對于細(xì)粒度的圖像搜索是不現(xiàn)實(shí)的。

附圖說明

在不一定按比例繪制的附圖中，相同的附圖標(biāo)記可以描述不同視圖中的相似的部件。具有不同字母后綴的相同附圖標(biāo)記可以表示相似部件的不同實(shí)例。在附圖的圖中通過示例而非限制的方式示出了一些實(shí)施方式，在附圖中：

圖1示出了根據(jù)一些示例實(shí)施方式的系統(tǒng)配置，其中，電子裝置經(jīng)由網(wǎng)絡(luò)通信以用于交換數(shù)據(jù)。

圖2是根據(jù)一些示例實(shí)施方式的圖像搜索系統(tǒng)的框圖。

圖3是根據(jù)一些示例實(shí)施方式的生成對抗網(wǎng)絡(luò)(GAN)的框圖。

圖4是根據(jù)一些示例實(shí)施方式的圖像搜索模塊的框圖。

圖5是示出根據(jù)某些示例實(shí)施方式的執(zhí)行圖像搜索的示例方法的流程圖。

圖6是示出根據(jù)某些示例實(shí)施方式的生成用于細(xì)粒度圖像搜索的GAN的示例方法的流程圖。

圖7是示出了可以結(jié)合本文中描述的各種硬件架構(gòu)使用的代表性軟件架構(gòu)的框圖。

圖8是示出根據(jù)一些示例實(shí)施方式的能夠從機(jī)器可讀介質(zhì)(例如，機(jī)器可讀存儲介質(zhì))讀取指令并且執(zhí)行本文中討論的方法中的任何一種或更多種方法的機(jī)器的部件的框圖。

具體實(shí)施方式

在下面的描述中，出于說明的目的，闡述了各種細(xì)節(jié)以提供對本發(fā)明的各種實(shí)施方式的透徹理解。然而，對于本領(lǐng)域技術(shù)人員將明顯的是，可以在沒有這些具體細(xì)節(jié)的情況下或者在具有微小改變的情況下實(shí)踐本主題。