[發明專利]基于混合注意的語義增強哈希醫學圖像檢索方法

在審

• 申請號: 202111106128.2
• 申請日: 2021-09-22
• 公開（公告）號: CN113889228A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 陳亞雄;李小玉;湯一博;王凡;熊盛武
• 申請（專利權）人: 武漢理工大學
• 主分類號: G16H30/20
• 分類號: G16H30/20;G06F16/53;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明涉及一種基于混合注意的語義增強哈希醫學圖像檢索方法。首先將數據集劃分為訓練集和測試檢索集，從訓練集中隨機選擇圖像組成醫學三元組，然后構建整體網絡模型，將醫學三元組樣本作為網絡模型的輸入，最后訓練整體網絡模型，并使用訓練好的網絡得到檢索結果。本發明利用通道注意模塊和空間注意模塊構成混合注意機制，能高效提取感興趣區域(ROI)信息；利用類別級語義信息來約束哈希碼的學習過程，有助于區分不同類別的相似哈希碼；當深度嵌入映射至離散哈希碼時，利用量化損失項減少深度嵌入和哈希碼之間的量化誤差，能夠進一步提升醫學圖像檢索的精度。

技術領域

本發明屬于醫學圖像檢索領域，特別是涉及一種基于混合注意的語義增強哈希醫學圖像檢索方法。

背景技術

隨著射線成像技術的快速發展，醫療數據逐漸電子化，醫學圖像的數量急劇增加。為了更好地輔助醫療診斷和評估，在大規模醫學圖像中挖掘有用信息非常關鍵。因此，醫學圖像檢索引起了廣泛注意。

醫學圖像檢索可以分為兩類：基于文本的醫學圖像檢索和基于內容的醫學圖像檢索。基于文本的醫學圖像檢索出現在醫學圖像檢索的早期，它避免了醫學圖像可視化元素的分析，從名稱、大小、類型等方面索引醫學圖像，常常基于關鍵字查詢醫學圖像。但是基于文本的醫學圖像檢索依靠高度主觀的人工標注，而且文本不能完全表達醫學圖像中豐富的語義內容。基于內容的醫學圖像檢索旨在直接從醫學圖像中提取低維視覺特征和高維語義特征，從而形成特征向量，作為索引和匹配檢索所需圖像的客觀依據。然而，現有的基于內容的醫學圖像檢索方法大多只學習醫學圖像的相對關系來提取深層特征，而忽略了醫學圖像和標簽的類別級語義，導致出現高級語義信息利用不足的問題，最終影響檢索性能。

發明內容

本發明針對現有技術的不足，提供一種基于基于混合注意的語義增強哈希醫學圖像檢索方法。首先將數據集劃分為訓練集和測試檢索集，從訓練集中隨機選擇圖像組成醫學三元組，然后構建整體網絡模型，將醫學三元組樣本作為網絡模型的輸入，最后訓練整體網絡模型，并使用訓練好的網絡得到檢索結果。

為了達到上述目的，本發明提供的技術方案是一種基于基于混合注意的語義增強哈希醫學圖像檢索方法，包括以下步驟：

步驟1，將數據集劃分為訓練集和測試檢索集；

步驟2，隨機選擇圖像組成醫學三元組；

步驟3，構建整體網絡模型，將醫學三元組樣本作為網絡模型的輸入；

步驟4，訓練整體網絡模型；

步驟5，使用訓練好的網絡得到檢索結果。

而且，所述步驟1中使用3個數據集，分別是胸部X光圖像數據集COVID-19Radiography、COVID-19胸部X射線圖像的組合精選數據集CuratedX-Ray和皮膚鏡圖像數據集HAM10000，對于每個數據集，選用70％的數據作為訓練集，剩余30％作為測試和檢索集，同一個數據集中的醫學圖像為同類醫學圖像，不同數據集中的醫學圖像為不同類醫學圖像。

而且，所述步驟2中給定m個訓練圖像構成訓練集I＝{I₁,I₂,...,I_m}，從訓練集中隨機選擇兩幅同類醫學圖像作為錨點圖像Q_i和正例圖像P_i，然后隨機選擇一幅與Q_i、P_i不同類的醫學圖像作為負例圖像N_i，構成醫學三元組T＝{Q_i,P_i,N_i}_{i∈{1,...,m}}。三元組中錨點圖像Q_i和正例圖像P_i相似，和負例圖像N_i不相似。在構建醫學三元組樣本單元時，選擇樣本數量比較少的醫學圖像作為稀有圖像，并將其作為普通樣本的負例圖像，以此實現訓練階段對稀有圖像的復用，克服醫學圖像檢索領域的樣本不平衡問題。