[發明專利]基于深度學習和哈希編碼的圖像檢索方法

有效

• 申請號: 201710525604.1
• 申請日: 2017-06-30
• 公開（公告）號: CN107330074B
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 陳熙霖;劉昊淼;王瑞平
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06K9/62
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇;李科

1.一種基于深度學習和哈希編碼的模型訓練方法，包括以下步驟：

步驟1)、將部分標注的圖像數據作為網絡模型的訓練數據，通過深度網絡將所述訓練數據表示為類二值哈希編碼，其中，所述類二值哈希編碼是指取值是連續值的一種模擬二值哈希編碼，所述部分標注的圖像數據指的是所具有的語義類別標注和視覺屬性標注中至少一個不是未知的圖像數據；

步驟2)、將所述步驟1)獲得的類二值哈希編碼作為輸入，連接到深度網絡的多個任務層，同時使用多個任務進行訓練，其中，所述多個任務層是指可作為圖像檢索任務的任務層，所述圖像檢索任務包括：針對圖像的語義類別進行圖像檢索以及針對圖像的視覺屬性進行圖像檢索；

步驟3)、基于所述步驟1)的類二值哈希編碼獲得帶有可供檢索的特征信息的用于表示所述訓練數據的二值哈希編碼。

2.根據權利要求1所述的基于深度學習和哈希編碼的模型訓練方法，針對所述圖像的語義類別，使用分類任務或基于圖像對的度量學習任務來訓練。

3.根據權利要求1所述的基于深度學習和哈希編碼的模型訓練方法，針對所述視覺屬性，訓練一組視覺屬性分類器。

4.根據權利要求1至3中任一項所述的基于深度學習和哈希編碼的模型訓練方法，利用所述網絡模型，對標注不完全或無標注的圖像數據進行標簽預測，從而補全所述圖像數據中的所有圖像的屬性標簽。

5.一種采用如權利要求1至4中任一項所述的方法的基于深度學習和哈希編碼的圖像檢索的方法，包括：

根據一張查詢圖像進行語義類別檢索任務時，利用所述網絡模型得到所述查詢圖像的二值哈希編碼；通過將所述查詢圖像的二值哈希編碼與圖像數據庫中的所有圖像的二值哈希編碼相比較，獲得與所述查詢圖像語義類別相同的圖像作為檢索結果；或者

根據一種或多種查詢圖像的視覺屬性信息作為檢索任務時，利用所述網絡模型根據圖像的二值哈希編碼還原數據庫中的所有圖像的相應視覺屬性信息，獲得具有所述視覺屬性信息的圖像作為檢索結果；或者

根據一張查詢圖像的語義類別以及一種或多種指定的視覺屬性信息作為檢索任務時，首先利用所述網絡模型根據圖像的二值哈希編碼還原數據庫中的所有圖像的相應視覺屬性信息，并利用所述還原的視覺屬性信息對數據庫進行篩選；其次利用所述網絡模型得到所述查詢圖像的二值哈希編碼；通過將所述查詢圖像的二值哈希編碼，與所述篩選出的圖像數據庫中的圖像的二值哈希編碼相比較，獲得與所述查詢圖像語義類別相同的且具有相應的視覺屬性的圖像作為檢索結果。

6.一種圖像檢索系統，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，所述處理器運行所述程序時執行如權利要求5所述的步驟。

7.一種計算機可讀存儲介質，包括存儲在所述可讀存儲介質上的計算機程序，其中，所述程序執行如權利要求5所述的步驟。