[發明專利]一種圖像檢索系統和方法

有效

• 申請號: 202011451941.9
• 申請日: 2020-12-10
• 公開（公告）號: CN112559781B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 牛宇航;高東懷;寧玉文;薛楠
• 申請（專利權）人: 西北大學
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06F16/51;G06F16/583;G06F16/55;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王愛濤

1.一種圖像檢索系統，其特征在于，包括：

語義分割模塊，用于基于注意力機制結合U-Net網絡的網絡結構根據查詢圖像得到語義分割后的圖像；所述基于注意力機制結合U-Net網絡的網絡結構為在U-Net網絡結構的擴展路徑中引入注意力機制，并采用批量隨機梯度下降的方法將所述U-Net網絡結構中的最后一層卷積層的激活函數修改為sigmoid函數的網絡結構；其中，輸入圖像經過收縮路徑后，經過每層都引入注意力機制的擴展路徑，在最后一個卷積層后得到語義分割后的圖像；擴展路徑每層先進行反卷積以拼接收縮路徑對應層的特征圖，之后特征通過兩個3*3的卷積層；

哈希編碼模塊，與所述語義分割模塊連接，用于采用基于卷積神經網絡的深度哈希算法根據所述語義分割后的圖像生成與所述語義分割后的圖像對應的哈希編碼，記為第一哈希編碼；

哈希存儲模塊，與所述哈希編碼模塊連接，用于按照圖像分類存儲所有圖像的哈希編碼；所述圖像分類為按照圖像語義識別得到的分類；其中，每類圖像對應的哈希編碼以一個哈希編碼數據集進行存儲；每一所述哈希編碼數據集包括多個第二哈希編碼；

哈希檢索模塊，分別與所述哈希編碼模塊和所述哈希存儲模塊連接，用于根據所述查詢圖像的語義分割結果調取所述哈希編碼數據集，并確定所述第一哈希編碼和調取得到的哈希編碼數據集中所有第二哈希編碼間的漢明距離，根據所述漢明距離確定圖像檢索結果；

所述哈希編碼模塊包括：

分解單元，與所述語義分割模塊連接，用于映射得到所述語義分割后的圖像的相似度矩陣；

哈希編碼確定單元，與所述分解單元連接，用于根據所述相似度矩陣，利用卷積神經網絡生成與所述語義分割后的圖像對應的哈希編碼。

2.根據權利要求1所述的圖像檢索系統，其特征在于，所述哈希檢索模塊包括：

查詢單元，分別與所述哈希編碼模塊和所述哈希存儲模塊連接，用于根據所述查詢圖像的語義分割結果調取所述哈希編碼數據集；

漢明距離確定單元，與所述查詢單元連接，用于確定所述第一哈希編碼和調取得到的哈希編碼數據集中所有第二哈希編碼間的漢明距離；

圖像檢索結果確定單元，與所述漢明距離確定單元連接，用于將所述漢明距離進行降序排列，得到所述漢明距離中的最小值；所述最小值對應的圖像即為檢索得到的圖像。

3.一種圖像檢索方法，其特征在于，包括：

基于注意力機制結合U-Net網絡的網絡結構根據查詢圖像得到語義分割后的圖像；所述基于注意力機制結合U-Net網絡的網絡結構為在U-Net網絡結構的擴展路徑中引入注意力機制，并采用批量隨機梯度下降的方法將所述U-Net網絡結構中的最后一層卷積層的激活函數修改為sigmoid函數的網絡結構；其中，輸入圖像經過收縮路徑后，經過每層都引入注意力機制的擴展路徑，在最后一個卷積層后得到語義分割后的圖像；擴展路徑每層先進行反卷積以拼接收縮路徑對應層的特征圖，之后特征通過兩個3*3的卷積層；

采用基于卷積神經網絡的深度哈希算法根據所述語義分割后的圖像生成與所述語義分割后的圖像對應的哈希編碼，記為第一哈希編碼；

按照圖像分類存儲所有圖像的哈希編碼；所述圖像分類為按照圖像語義識別得到的分類；其中，每類圖像對應的哈希編碼以一個哈希編碼數據集進行存儲；每一所述哈希編碼數據集包括多個第二哈希編碼；

根據所述查詢圖像的語義分割結果調取所述哈希編碼數據集；

確定所述第一哈希編碼和調取得到的哈希編碼數據集中所有第二哈希編碼間的漢明距離；

根據所述漢明距離確定圖像檢索結果；

所述采用基于卷積神經網絡的深度哈希算法根據所述語義分割后的圖像生成與所述語義分割后的圖像對應的哈希編碼，記為第一哈希編碼，具體包括：

映射得到所述語義分割后的圖像的相似度矩陣；

根據所述相似度矩陣，利用卷積神經網絡生成與所述語義分割后的圖像對應的哈希編碼。

4.根據權利要求3所述的圖像檢索方法，其特征在于，所述根據所述漢明距離確定圖像檢索結果，具體包括：

將所述漢明距離進行降序排列，得到所述漢明距離中的最小值；所述最小值對應的圖像即為檢索得到的圖像。