[發明專利]基于混合注意的語義增強哈希醫學圖像檢索方法

在審

• 申請號: 202111106128.2
• 申請日: 2021-09-22
• 公開（公告）號: CN113889228A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 陳亞雄;李小玉;湯一博;王凡;熊盛武
• 申請（專利權）人: 武漢理工大學
• 主分類號: G16H30/20
• 分類號: G16H30/20;G06F16/53;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于混合注意的語義增強哈希醫學圖像檢索方法，其特征在于，包括如下步驟：

步驟1，將數據集劃分為訓練集和測試檢索集；

步驟2，隨機選擇圖像組成醫學三元組；

步驟3，構建整體網絡模型，將醫學三元組樣本作為網絡模型的輸入；

步驟4，訓練整體網絡模型；

步驟5，使用訓練好的網絡得到檢索結果。

2.如權利要求1所述的一種基于混合注意的語義增強哈希醫學圖像檢索方法，其特征在于：步驟1中使用n個數據集，對于每個數據集，選用70％的數據作為訓練集，剩余30％作為測試和檢索集，同一個數據集中的醫學圖像為同類醫學圖像，不同數據集中的醫學圖像為不同類醫學圖像。

3.如權利要求2所述的一種基于混合注意的語義增強哈希醫學圖像檢索方法，其特征在于：步驟2中給定m個訓練圖像構成訓練集I＝{I₁,I₂,...,I_m}，從訓練集中隨機選擇兩幅同類醫學圖像作為錨點圖像Q_i和正例圖像P_i，然后隨機選擇一幅與Q_i、P_i不同類的醫學圖像作為負例圖像N_i，構成醫學三元組T＝{Q_i,P_i,N_i}_{i∈{1,...,m}}；在構建醫學三元組樣本單元時，選擇樣本數量比較少的醫學圖像作為稀有圖像，并將其作為普通樣本的負例圖像，以此實現訓練階段對稀有圖像的復用，克服醫學圖像檢索領域的樣本不平衡問題。

4.如權利要求3所述的一種基于混合注意的語義增強哈希醫學圖像檢索方法，其特征在于：步驟3中對于每一個三元組，三張醫學圖像同時輸入權重共享的孿生神經網絡，該孿生神經網絡由卷積塊、密集塊、卷積塊和一個用于哈希碼輸出的全連接層組成；在卷積塊和密集塊之間加上一個通道注意模塊，密集塊和卷積塊之間加上一個空間注意模塊，構成混合注意機制；通過通道注意模塊和空間注意模塊獲取感興趣區域信息，能夠同時獲得通道間的依賴和空間域的顯著特征，進而更有效地關注醫學圖像的差異。

5.如權利要求4所述的一種基于混合注意的語義增強哈希醫學圖像檢索方法，其特征在于：步驟3中一張醫學圖像首先通過第一個卷積塊得到特征圖X∈R^C×H×W，其中H和W分別表示特征圖的高和寬，C表示通道的數量；接著通過通道注意模塊，利用平均池化和最大池化操作壓縮輸入的特征圖；通道注意模塊內包括兩個連續卷積層，第一個1×1卷積用于將池化操作后的特征投影到參數較少的隱藏層，并利用ReLU函數作為激活函數；第二個1×1卷積旨在恢復通道數，并利用sigmoid函數作為激活函數；然后將平均池化向量和最大池化向量逐元素相加，利用sigmoid函數進行加權操作，最后乘以特征圖X；

通道注意模塊可表示為：

式中，M_C(X)是一維通道注意圖，大小為C×1×1；Conv_1×1代表濾波器大小為1×1的卷積操作；σ表示sigmoid函數；AvgPool(·)是平均池化函數；MaxPool(·)是最大池化函數。