[發明專利]一種基于深度哈希的病理全切片檢索方法

有效

• 申請號: 202010054002.4
• 申請日: 2020-01-17
• 公開（公告）號: CN111241327B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 姜志國;胡定一;鄭鈺山;張浩鵬;謝鳳英
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F16/583;G06F16/538;G06V10/80;G06K9/62
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開了一種基于深度哈希的病理全切片檢索方法，包括：哈希數據庫的建立：輸入查詢圖像，得到帶標簽的圖像塊，將帶標簽的圖像塊輸入至卷積神經網絡中，通過切片級損失函數對CNN網絡框架進行訓練，將所有的訓練圖像轉化為相應的二值編碼，得到哈希數據庫；檢索結果的確定：利用CNN網絡框架提取測試圖像的二值編碼，通過哈希數據庫檢索得到與測試圖像二值編碼相近的編碼，進而返回對應的圖像，采用非極大值抑制的方法對返回的圖像進行融合，得出檢索結果。本發明利用圖像塊的切片標簽信息，在損失函數中加入了一個切片級抑制項，使得來自相同切片的圖像在特征空間中具有更大的區分度。

技術領域

本發明屬于數字圖像處理技術領域，更具體的說是涉及一種基于深度哈希的病理全切片檢索方法。

背景技術

數字病理圖像分析是當前癌癥診斷中重要的輔助診斷方法，數字病理圖像是指經過染色處理的病理切片在顯微鏡下成像后得到的數字圖像。基于內容的圖像檢索可以在數據庫中查找與目標患者相似的病理圖像及其病例，為醫生診斷提供豐富的輔助信息，近年來關于病理圖像的檢索成為研究領域的熱點。在之前的研究中傳統的檢索方法主要是針對小規模的數據集，提取出圖像的特征描述子，例如SIFT、HOG、GIST特征等等，再采用語義分析模型對特征進行分析處理，但是這種方法只能適應于特定的圖像，魯棒性較差，并且在處理速度上也達不到要求。近年來隨著卷積神經網絡(CNN)和哈希方法在病理圖像檢索上的應用，使得檢索方法在魯棒性和處理速度上有了比較大的提升。具體地，在訓練階段通過CNN對大規模病理全切片數據集進行訓練，把分割之后的圖像塊映射到二值特征空間，進而得到訓練集的哈希表，在測試階段，通過訓練完成的CNN結構得到測試圖像相應的二值編碼特征，最后通過比較此編碼與訓練集編碼的漢明距離得到檢索結果。

現有技術以PDRH算法為代表，其流程圖如圖1所示。PDRH算法設計了一個15層的卷積神經網絡，對所有訓練集中的圖像進行訓練，該網絡采用了針對圖像檢索的復數級(pairwise level)損失函數，輸入圖像經過一系列卷積層后，在輸出層被壓縮為32位的列向量，此損失函數使得帶有同一標簽的圖像在輸出層的特征空間內盡量靠近，并且使得該編碼的每一位的絕對值接近1，然后通過一個符號函數把32位特征轉換為相應的二值編碼，以此得到訓練集的二值編碼列表。在測試時通過訓練好的CNN輸出測試圖像的二值編碼，在哈希表上返回與測試圖像編碼漢明距離最近的編碼，并依次返回相應的圖像。

現有技術PDRH算法基于圖像塊層面的檢索，對于圖像塊的切片信息采取忽視的策略，在放回結果中可能出現大量的來自同一切片和同一區域的冗余結果(如圖3(a))；雖然PDRH算法可以取得良好的檢索精度，但是提供的診斷信息是很有限的，不能夠充分的利用已有的診斷信息數據。

因此，如何提供一種基于深度哈希的病理全切片檢索方法是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種基于深度哈希的病理全切片檢索方法，利用圖像塊的切片標簽信息，在損失函數中加入了一個切片級抑制項，使得來自相同切片的圖像在特征空間中具有更大的區分度。

為了實現上述目的，本發明采用如下技術方案：

一種基于深度哈希的病理全切片檢索方法，包括：

(1)哈希數據庫的建立：

輸入查詢圖像，得到帶標簽的圖像塊，將帶標簽的圖像塊輸入至卷積神經網絡中，通過切片級損失函數對CNN網絡框架進行訓練，將所有的訓練圖像轉化為相應的二值編碼，得到哈希數據庫；

(2)檢索結果的確定：

利用CNN網絡框架提取測試圖像的二值編碼，通過哈希數據庫檢索得到與測試圖像二值編碼相近的編碼，進而返回對應的圖像，采用非極大值抑制的方法對返回的圖像進行融合，得出檢索結果。

具體的，查詢圖像采用224×224像素的圖像。