[發明專利]基于多任務深度哈希學習的大規模物流商品圖像檢索方法

有效

• 申請號: 202110732492.3
• 申請日: 2021-06-29
• 公開（公告）號: CN113377981B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 聶秀山;王樂天;劉興波;王少華
• 申請（專利權）人: 山東建筑大學
• 主分類號: G06F16/53
• 分類號: G06F16/53
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 支文彬

一種基于多任務深度哈希學習的大規模物流商品圖像檢索方法，通過基于多任務的思想，可以同時學到多種長度的哈希碼作為圖像的高級表征。與傳統的單任務相比，解決了單任務下模型重新訓練導致的硬件資源浪費和時間成本開銷大等弊端。與傳統僅僅考慮學習單個哈希碼作為圖像的表征并來用檢索相比。挖掘了多種長度哈希碼之間的信息關聯，設計了互信息損失來增強其哈希碼的表征能力，解決了單個哈希碼表征能力不強的弊端，進而提高哈希碼的檢索性能。同時模型是基于端到端的學習，即圖像的特征提取和哈希碼的學習是同時進行的，與傳統的線性哈希方法相比，模型結構直觀，容易遷移與部署實現。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于多任務深度哈希學習的大規模物流商品圖像檢索方法。

背景技術

隨著互聯網和電子技術的高速發展，網上的信息量的增長異常迅速，幾乎每秒鐘都會上傳大量的文本，圖像，音頻等多媒體的數據。這給很多需要進行高效最近鄰搜索的領域帶了極大的挑戰，尤其是大規模的圖像檢索。當數據庫中的圖像數據量較少的時候，我們可以使用最簡單直接的窮盡搜索方式：即將數據庫中的點與查詢點一一比較歐式距離，最終根據距離的大小排序。時間復雜度為線性復雜度O(dn)，d和n分別是數據的維度和樣本數。但是，當圖像的數據量的規模比較龐大，如有上百萬到上億張圖像的時候,線性搜索的方式已經不適用。另外，如在計算機視覺領域，已經越來越傾向使用高維度數據或者結構化的數據在更加精確地表達物品圖像信息，并且使用復雜的相似度公式計算物品圖像間的距離。在這些情況下，窮盡搜索的方式存在很大的局限性，無法高效的地完成最近鄰搜索。

因此，人們開始使用近似最近鄰搜索(Approximate Nearest Neighbor Search)方法快速地搜索有效解。而哈希方法是一類廣泛研究的近似最近鄰搜索算法，其能將文檔、圖像、視頻等多媒體信息轉換成一個緊湊的二進制編碼，并保留原始數據間的相似性關系。該二進制編碼(也稱哈希碼)間的距離度量使用的是漢明距離，其可以通過硬件的異或運算進行快速求解。因此，哈希方法能夠在存儲和效率上具備極大的優勢，這也造成了其成為最流行的近似最近鄰搜索算法之一。本發明面向的是物流行業的大規模圖像檢索領域，那么如何快速有效的從數據庫中檢索出我們需要的圖片成為問題。而基于最近鄰算法的哈希學習憑借其優勢成為近些年來在大規模數據上做檢索的利器。

大多數的哈希方法首先為用來檢索的哈希碼預定一個固定的長度(例如:16,32,48等)。然后訓練模型學習這個長度的哈希碼作為圖像的高級表征并用來快速有效的檢索大規模的多媒體數據。如果預定義好哈希碼的長度，當需求發生改變，我們需要另一長度的哈希碼用做表征和檢索，我們就需要重新訓練模型學習新的長度的哈希碼，這就造成了硬件資源浪費和時間成本的增加。其次，我們知道哈希碼是原始樣本的緊湊表示，一個樣本可以用不同長度的哈希碼表示。直觀的來說，代表相同樣本的不同長度的哈希碼反映與原始樣本不同類型的特定信息。如果我們將它們視為原始樣本的不同試圖，不同視圖之間應該存在一定的區別和聯系。如果我們僅僅考慮一種長度的哈希碼，則會忽略它們之間潛在的關聯，進而造成交互信息的損失，導致表征能力的不足和檢索精度處于較低的水平。而且大多數線性非深度的哈希方法，特征提取和哈希函數學習具有異步性。哈希函數的設計較為復雜，且模型的優化方法更是一個難點。

發明內容

本發明為了克服以上技術的不足，提供了一種提高哈希檢索性能的基于多任務深度哈希學習的大規模物流商品圖像檢索方法。

本發明克服其技術問題所采用的技術方案是：

一種基于多任務深度哈希學習的大規模物流商品圖像檢索方法，包括如下步驟：

a)對輸入的物流商品圖像x_i進行圖像預處理，根據圖像x_i的標簽構建物流商品圖像之間的相似度矩陣S；

b)將預處理后的物流商品圖像經過卷積、池化處理后得到圖像的一維特征向量h_img，將一維特征向量h_img作為圖像低級特征；