[發明專利]一種基于語義特征和有監督哈希的圖像檢索方法

有效

• 申請號: 201710195957.X
• 申請日: 2017-03-29
• 公開（公告）號: CN107092918B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 趙涓涓;潘玲;強梓林;郝曉燕;王華;強彥
• 申請（專利權）人: 太原理工大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06T7/00;G06N3/08;G16H50/20
• 代理公司: 北京恒創益佳知識產權代理事務所(普通合伙) 11556
• 代理人: 柴淑芳

1.一種基于語義特征和有監督哈希的圖像檢索方法，其特征在于，包括以下步驟：

步驟A，提取肺部CT圖像中的肺結節混合征象區域，并截取其中各個單一征象區域，為之后提取表達肺結節征象信息的語義特征以及檢索相似的肺結節圖像，進而識別查詢圖像所表現的醫學征象做準備；

步驟B，采用基于參數共享的卷積神經網絡提取表達肺結節征象信息的語義特征；首先使用第一個卷積神經網絡訓練單一征象數據，通過調整網絡參數使其有效識別各個單一征象；然后將網絡參數傳遞到第二個卷積神經網絡，訓練混合征象數據，并通過損失函數和誤差反向傳播機制來微調網絡參數，從而獲得表達結節征象信息的高維的語義特征；

步驟C，用于實現相似的肺結節圖像檢索；利用監督信息構造有效的哈希函數，將步驟B得到的高維的語義特征映射為簡潔的哈希碼，并為查詢圖像設計自適應權重向量，通過加權漢明距離的相似度衡量，從肺結節圖像庫中檢索出具有相似征象的肺結節圖像；

所述步驟B中網絡參數調整過程如下：

B1、對于第一個卷積神經網絡，使用單一征象數據集進行訓練；

第一個卷積神經網絡共有7層，輸入層、包含2個卷積層和2個降采樣層的隱含層、全連接層和輸出層；使用線性插值方法將單一征象數據集中的圖像統一大小為48×48，并減去圖像均值進行預處理，將其作為卷積神經網絡輸入層的輸入；使用多項邏輯回歸模型中的softmax函數作為損失函數，輸出層產生一個在各單一征象類上的概率分布；在隱含層使用rectified linear units(ReLU)作為激勵函數，以便縮短學習周期的同時提高學習精度；在整個訓練過程中使用梯度下降法進行優化，使得損失函數能夠快速收斂；通過第一個卷積神經網絡網絡的訓練，得到能夠有效識別不同單一征象的網絡參數；

B2、對于第二個卷積神經網絡網絡，使用混合征象數據集進行訓練；

將B1中訓練單一征象的網絡參數轉移到第二個卷積神經網絡網絡中，并將含有混合征象的整個肺結節圖像作為網絡輸入，每張肺結節圖像的大小同樣被統一為48×48，通過微調網絡參數，經過訓練的網絡能有效地識別肺結節圖像含有的混合征象；網絡訓練過程與第一個卷積神經網絡網絡的訓練過程相同，在輸出層同樣會產生對6個單一征象類的概率分布，以確定肺結節所含有的混合征象，但是由于混合征象的類別數不等于單一征象數，因此，損失函數的設計也有所不同；損失函數的定義為：如果結節圖像表現出第j類征象，則l_ij＝1，j＝1,2,…,c，否則l_ij＝0；最后，利用調整好的網絡獲取肺結節圖像所含有的征象特征；

所述步驟C具體過程如下：

C1、利用監督信息構造有效的哈希函數；

①使用PCA算法對肺結節的圖像特征進行預處理，將結節特征投影到可以最小化投影誤差的線性子空間中，減少冗余信息，確保哈希映射后的哈希碼含有原始圖像的主要信息；

②哈希函數的一般形式為：b_k的取值為0，用PCA映射后的語義特征v_i代替x_i，從而簡化公式為：

③利用監督信息解決哈希函數中的w，所述的監督信息是指肺結節圖像中所含混合征象的類型標簽；

C2、為查詢圖像設計自適應權重向量，并檢索相似的肺結節圖像；

①設計各混合征象類型對應的權重向量；經哈希函數映射后，得到由肺結節圖像的哈希碼所構成的r維空間的集合Y＝{y₁,y₂,…,y_n}；權重向量的設計要求一：同類混合征象中肺結節圖像的漢明距離最小：

符號“。”表示Hadamard積,i＝1,2,...,k；權重向量的設計要求二：保留各類混合征象在原始特征空間的關系：

s_ij表示第i類與第j類的相似程度，若兩類混合征象表現的差異性較大，即s_ij越小，相應的加權漢明距離應該越大；根據上述兩個要求，目標函數可以設計為：

a_i＞0,(a_i)^T*1＝1,i＝1,2,...,k；

β表示平衡這兩個要求的參數，設置β＝1；求解上式即可得到不同混合征象類型的權重向量；

②計算查詢圖像的自適應權重向量；

③根據查詢圖像的自適應權重向量a_q計算查詢圖像的哈希碼y_q與各候選混合征象類型中的哈希碼{Y₁,…,Y_m}之間的加權漢明距離：并從這m個候選混合征象類型的圖像庫中檢索出具有相似征象的肺結節圖像。