[發(fā)明專利]機(jī)器學(xué)習(xí)圖像搜索

在審

• 申請?zhí)枺?/td>: 201780087676.0
• 申請日: 2017-04-10
• 公開（公告）號: CN110352419A
• 公開（公告）日: 2019-10-18
• 發(fā)明（設(shè)計）人: 克里斯蒂安·塞繆爾·佩隆;托馬斯·達(dá)席爾瓦·保拉;羅伯托·佩雷拉·西爾維拉
• 申請（專利權(quán)）人: 惠普發(fā)展公司;有限責(zé)任合伙企業(yè)
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F17/27;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 康泉;宋志強(qiáng)

1.一種機(jī)器學(xué)習(xí)圖像搜索系統(tǒng)，包括：

處理器；

存儲機(jī)器可讀指令的存儲器，

其中，所述處理器用于執(zhí)行所述機(jī)器可讀指令以：

使用機(jī)器學(xué)習(xí)編碼器來對圖像目錄中的每個圖像進(jìn)行編碼，以生成在多模態(tài)空間中可表示的每個圖像的k維圖像特征向量，其中k是大于1的整數(shù)；

接收查詢；

使用所述機(jī)器學(xué)習(xí)編碼器對所述查詢進(jìn)行編碼，以生成所述查詢的在所述多模態(tài)空間中可表示的k維文本特征向量；

在所述多模態(tài)空間中將所述k維圖像特征向量與所述k維文本特征相比較；并且

基于所述比較從所述圖像目錄中識別匹配所述查詢的圖像。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理器用于執(zhí)行所述機(jī)器可讀指令以：

生成包括所述k維圖像特征向量和與所述k維圖像特征向量相關(guān)聯(lián)的每個圖像的標(biāo)識符的索引；并且

響應(yīng)于識別所述匹配圖像，根據(jù)所述匹配圖像的索引中的所述標(biāo)識符來檢索所述匹配圖像。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述圖像目錄被存儲在經(jīng)由網(wǎng)絡(luò)連接到所述系統(tǒng)的計算機(jī)上，并且為了檢索所述匹配，所述處理器用于根據(jù)所述標(biāo)識符從經(jīng)由所述網(wǎng)絡(luò)連接到所述系統(tǒng)的所述計算機(jī)檢索所述匹配圖像。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，接收到的所述查詢包括語音或文本，并且所述處理器用于執(zhí)行所述機(jī)器可讀指令以：

向所述語音或文本施加自然語言處理，以確定要被搜索的圖像的文本描述；以及

為了對所述查詢進(jìn)行編碼，所述處理器用于對所述文本描述進(jìn)行編碼以生成所述k維文本特征向量。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理器用于執(zhí)行所述機(jī)器可讀指令以：

對所述機(jī)器學(xué)習(xí)編碼器進(jìn)行訓(xùn)練，其中，所述訓(xùn)練包括：

確定圖像的訓(xùn)練集合，所述訓(xùn)練集合具有關(guān)于所述訓(xùn)練集合中的每個圖像的對應(yīng)文本描述；

將所述圖像的訓(xùn)練集合施加到所述機(jī)器學(xué)習(xí)編碼器；

對于所述訓(xùn)練集合中的每個圖像確定所述多模態(tài)空間中的圖像特征向量；

對于每個對應(yīng)文本描述確定所述多模態(tài)空間中的文本特征向量；以及

創(chuàng)建所述訓(xùn)練集合中的每個圖像的聯(lián)合嵌套，所述聯(lián)合嵌套包括所述圖像的所述圖像特征向量和所述文本特征向量。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述處理器用于執(zhí)行所述機(jī)器可讀指令以：

將所述訓(xùn)練集合中的每個圖像的所述圖像特征向量施加到結(jié)構(gòu)-內(nèi)容神經(jīng)語言模型解碼器，以獲取每個圖像的附加文本特征向量；并且

將每個圖像的所述附加文本特征向量包括在所述圖像的所述聯(lián)合嵌套中。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述系統(tǒng)是打印機(jī)、移動設(shè)備、臺式計算機(jī)或服務(wù)器中的嵌入式系統(tǒng)。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，k是使每個k維圖像特征向量與對應(yīng)于每個k維圖像特征向量的圖像相比占據(jù)較少存儲空間的值。

9.一種打印機(jī)，包括：

處理器；

存儲器；

打印機(jī)構(gòu)，

其中，所述處理器用于：

基于將每個圖像施加到機(jī)器學(xué)習(xí)編碼器來確定圖像目錄中的每個圖像的k維圖像特征向量，其中，所述k維圖像特征向量在多模態(tài)空間中可表示；

接收查詢；

基于將被接收的所述查詢施加到所述機(jī)器學(xué)習(xí)編碼器來確定被接收的查詢的k維文本特征向量；

在所述多模態(tài)空間130中將所述k維文本特征向量與所述k維圖像特征向量相比較；

根據(jù)所述比較來識別匹配圖像；并且

使用所述打印機(jī)構(gòu)來打印所述匹配圖像中的至少一個匹配圖像。

10.根據(jù)權(quán)利要求9所述的打印機(jī)，進(jìn)一步包括：

顯示器，其中，所述處理器用于：

在所述顯示器上顯示所述匹配圖像；并且

接收對所述匹配圖像中的用于打印的至少一個匹配圖像的選擇。