[發(fā)明專(zhuān)利]用于細(xì)粒度圖像搜索的對(duì)抗學(xué)習(xí)

在審

• 申請(qǐng)?zhí)枺?/td>: 201980034145.4
• 申請(qǐng)日: 2019-05-21
• 公開(kāi)（公告）號(hào): CN112154452A
• 公開(kāi)（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 凱文·林;楊帆;王喬松;魯賓遜·皮拉穆圖
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子灣有限公司
• 主分類(lèi)號(hào): G06K9/46
• 分類(lèi)號(hào): G06K9/46;G06K9/00
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 杜誠(chéng);楊林森

1.一種方法，包括：

從客戶(hù)端裝置接收搜索查詢(xún)，所述搜索查詢(xún)包括描繪對(duì)象的輸入圖像；

使用生成器生成標(biāo)準(zhǔn)化視角下所述對(duì)象的向量表示，已經(jīng)基于多個(gè)視角下已知對(duì)象的參考圖像的集合以及在訓(xùn)練階段期間從評(píng)估器接收的反饋數(shù)據(jù)訓(xùn)練了所述生成器，所述反饋數(shù)據(jù)指示所述生成器在生成標(biāo)準(zhǔn)化視角下所述已知對(duì)象的向量表示方面的性能，所述評(píng)估器包括生成所述反饋數(shù)據(jù)的判別器子模塊、標(biāo)準(zhǔn)化器子模塊和語(yǔ)義嵌入子模塊；

基于所述標(biāo)準(zhǔn)化視角下所述對(duì)象的向量表示來(lái)識(shí)別描繪所述對(duì)象的其他圖像的集合；以及

響應(yīng)于所述搜索查詢(xún)，將描繪所述對(duì)象的所述其他圖像中的至少一個(gè)返回至所述客戶(hù)端裝置。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述判別器子模塊從所述生成器接收所述標(biāo)準(zhǔn)化視角下所述已知對(duì)象的生成圖像，并且輸出所述生成圖像是所述已知對(duì)象的真實(shí)圖像的概率。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述標(biāo)準(zhǔn)化器子模塊從所述生成器接收所述標(biāo)準(zhǔn)化視角下所述已知對(duì)象的所述生成圖像，并且輸出指示已知圖像被轉(zhuǎn)換為所述標(biāo)準(zhǔn)化視角的完成情況的值。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述語(yǔ)義嵌入子模塊從所述生成器接收所述標(biāo)準(zhǔn)化視角下所述已知對(duì)象的所述生成圖像，并且輸出指示基于所述生成圖像確定的對(duì)象分類(lèi)是否與所述已知對(duì)象的期望對(duì)象分類(lèi)匹配的值。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述生成器基于從所述判別器子模塊、所述標(biāo)準(zhǔn)化器子模塊和所述語(yǔ)義嵌入子模塊接收的所述反饋數(shù)據(jù)來(lái)修改未來(lái)圖像的生成。

6.根據(jù)權(quán)利要求1所述的方法，其中，識(shí)別描繪所述對(duì)象的所述其他圖像的集合包括：

使用距離函數(shù)確定所述對(duì)象的向量表示與描繪對(duì)象的圖像的向量表示的集合之間的距離；

基于所述距離識(shí)別與所述對(duì)象的向量表示最接近的向量表示的集合，與所述對(duì)象的向量表示最接近的向量表示的集合表示描繪所述對(duì)象的所述其他圖像的集合。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述其他圖像的集合包括由所述生成器生成的圖像。

8.一種系統(tǒng)，包括：

一個(gè)或更多個(gè)計(jì)算機(jī)處理器；以及

存儲(chǔ)指令的一個(gè)或更多個(gè)計(jì)算機(jī)可讀介質(zhì)，所述指令在由所述一個(gè)或更多個(gè)計(jì)算機(jī)處理器執(zhí)行時(shí)使所述系統(tǒng)執(zhí)行操作，所述操作包括：

從客戶(hù)端裝置接收搜索查詢(xún)，所述搜索查詢(xún)包括描繪對(duì)象的輸入圖像；

使用生成器生成標(biāo)準(zhǔn)化視角下所述對(duì)象的向量表示，已經(jīng)基于多個(gè)視角下已知對(duì)象的參考圖像的集合以及在訓(xùn)練階段期間從評(píng)估器接收的反饋數(shù)據(jù)訓(xùn)練了所述生成器，所述反饋數(shù)據(jù)指示所述生成器在生成標(biāo)準(zhǔn)化視角下所述已知對(duì)象的向量表示方面的性能，所述評(píng)估器包括生成所述反饋數(shù)據(jù)的判別器子模塊、標(biāo)準(zhǔn)化器子模塊和語(yǔ)義嵌入子模塊；

基于所述標(biāo)準(zhǔn)化視角下所述對(duì)象的向量表示來(lái)識(shí)別描繪所述對(duì)象的其他圖像的集合；以及

響應(yīng)于所述搜索查詢(xún)，將描繪所述對(duì)象的所述其他圖像中的至少一個(gè)返回至所述客戶(hù)端裝置。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述判別器子模塊從所述生成器接收所述標(biāo)準(zhǔn)化視角下所述已知對(duì)象的生成圖像，并且輸出所述生成圖像是所述已知對(duì)象的真實(shí)圖像的概率。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述標(biāo)準(zhǔn)化器子模塊從所述生成器接收所述標(biāo)準(zhǔn)化視角下所述已知對(duì)象的所述生成圖像，并且輸出指示已知圖像被轉(zhuǎn)換為所述標(biāo)準(zhǔn)化視角的完成情況的值。

11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述語(yǔ)義嵌入子模塊從所述生成器接收所述標(biāo)準(zhǔn)化視角下所述已知對(duì)象的所述生成圖像，并且輸出指示基于所述生成圖像確定的對(duì)象分類(lèi)是否與所述已知對(duì)象的期望對(duì)象分類(lèi)匹配的值。