[發明專利]機器學習圖像搜索

在審

• 申請號: 201780087676.0
• 申請日: 2017-04-10
• 公開（公告）號: CN110352419A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 克里斯蒂安·塞繆爾·佩隆;托馬斯·達席爾瓦·保拉;羅伯托·佩雷拉·西爾維拉
• 申請（專利權）人: 惠普發展公司;有限責任合伙企業
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F17/27;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 康泉;宋志強

機器學習編碼器將圖像編碼為在多模態空間中可表示的圖像特征向量。編碼器還將查詢編碼為在多模態空間中可表示的文本特征向量。在多模態空間中將圖像特征向量與文本特征相比較，以基于比較來識別與查詢匹配的圖像。

背景技術

電子設備已經徹底改革了數字圖像的捕捉和存儲。許多現代電子設備(，例如，移動式電話、平板機、膝上計算機等等)配備有照相機。電子設備捕捉包括視頻的數字圖像。一些電子設備捕捉同一場景的多個圖像以捕捉更好的圖像。電子設備捕捉視頻，該視頻可以被考慮為圖像的流。在多種情況下，電子設備具有能夠存儲數以千計的圖像的大存儲容量。這促使捕捉更多圖像。而且，這些電子設備的成本已經繼續下降。由于設備的激增和低廉的存儲器的可用性，數字圖像現在普遍存在并且個人目錄可以以數以千計的數字圖像為特征。

附圖說明

在參考以下圖的以下描述中對示例進行詳細地描述。在附圖中，相同附圖標記指示類似的要素。

圖1圖示出根據示例的機器學習圖像搜索系統；

圖2圖示出根據示例的、用于機器學習圖像搜索系統的數據流；

圖3A、3B和3C圖示出根據示例的、用于機器學習圖像搜索系統的訓練流；

圖4圖示出根據示例的、打印機嵌入的機器學習圖像搜索系統；以及

圖5圖示出根據示例的方法。

具體實施方式

為了簡化和說明性目的，通過主要地參考示例來描述實施例的原理。在以下描述中，闡述許多特定細節以便提供對實施例的理解。然而，對本領域普通技術人員將明顯的是，可以在不進行對這些特定細節的限制的情況下實踐實施例。在一些實例中，沒有詳細地描述公知的方法和/或結構，以便不使實施例不必要地模糊。

根據本公開的示例，機器學習圖像搜索系統可以包括機器學習編碼器，該機器學習編碼器能夠將圖像轉換為圖像特征向量。機器學習編碼器還可以將接收到的查詢轉換為文本特征向量，以搜索圖像特征向量以識別與查詢匹配的圖像。

查詢可以包括文本查詢或通過自然語言處理被轉換為文本查詢的自然語言查詢。查詢可以包括句子或詞組或詞語的集合。查詢可以描述用于搜索的圖像。

可以包括圖像的特征向量和/或文本特征向量可以表示特征圖像的屬性或文本描述的屬性。例如，圖像特征向量可以表示邊緣、形狀、區域，等等。文本特征向量可以表示詞語的相似性、語言學規律、基于訓練的詞語的上下文信息、對形狀、區域的描述、與其他向量的接近度，等等。

特征向量可以是在多模態空間中可表示的。多模態空間可以包括k維坐標系統。當圖像和文本特征向量被填充在多模態空間中時，可以通過將多模態空間中的特征向量的距離相比較來識別類似的圖像特征和文本特征，以識別對查詢的匹配圖像。距離比較的一個示例可以包括余弦近似，其中將多模態空間中的特征向量之間的余弦角相比較以確定最接近的特征向量。余弦類似的特征可以在多模態空間中是近似的，并且不同的特征向量可以在遠端。特征向量可以具有多模態空間中的k個維度或坐標。在向量模型中的多模態空間中，具有類似特征的特征向量被彼此接近地嵌套。

在現有的搜索系統中，可以利用描述來對圖像進行手動標注，并且可以通過搜索手動添加的描述來找出匹配。包括文本描述的標注可以被容易地解密或可以是人類可讀的。因此，現有的搜索系統具有安全和隱私風險。在本公開的示例中，可以存儲特征向量或嵌套，而不存儲圖像的原始圖像和/或文本描述。特征向量不是人類可讀的，并且因此更安全。此外，為了進一步的安全，可以將原始圖像存儲在別處。而且，在本公開的示例中，加密可以用于保證原始圖像、特征向量、索引、標識符、在本文公開的其他中間數據的安全。