[發明專利]一種基于深度度量學習的中醫舌圖像腐膩特征分類方法

在審

• 申請號: 202110045201.3
• 申請日: 2021-01-14
• 公開（公告）號: CN112633301A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 李曉光;郭新;卓力;張輝
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08;G16H30/20
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于深度度量學習的中醫舌圖像腐膩特征分類方法，其特征在于：

1)每次訓練時通過數據重組的方式，從數據集每個類別隨機選取數量相同的樣本，構成本次訓練所使用的數據集，并對隨機選取的樣本進行兩兩排列組合形成訓練數據，其中一對樣本為一個訓練數據；

2)采用孿生網絡框架；首先，把組合后的訓練數據樣本對送入特征提取網絡，提取到對于當前中醫舌圖像腐膩特征分類任務具有區分度的深度特征，然后，將提取的兩個深度特征進行維度拼接，并把拼接后的合并特征送入特征對比網絡，自適應的學習出適合當前中醫舌圖像腐膩特征分類的度量準則；

該方法的整體網絡分為兩部分：特征提取網絡和特征對比網絡；以下是分別對特征提取網絡和特征對比網絡的詳細介紹；

特征提取網絡的結構：采用孿生網絡結構，即兩個神經網絡建立的組合結構；孿生神經網絡以兩個樣本為輸入，輸出為提取的樣本深度特征，以比較兩個樣本之間的相似程度；其中兩個神經網絡權值共享，即網絡權重一樣，保證提取輸入的兩幅舌圖像相同的深度特征；特征提取網絡采用的是殘差網絡，主要由殘差模塊組成；殘差模塊在網絡結構中加入恒等映射，允許前一層的信息可以直接傳遞到后面的層中；

特征提取網絡由一個卷積層和4個殘差模塊組成；卷積層包括一個卷積操作和一個最大池化，對圖像進行降維，其中卷積核大小為7×7；特征提取網絡中的每個殘差模塊都是由兩個殘差單元組成，一個殘差單元包含一個恒等映射；第一個殘差模塊的殘差單元，由兩個3×3的卷積操作，兩個卷積之間依次有批歸一化和非線性激活函數(ReLU)，殘差單元之后還有一個ReLU函數；后三個殘差模塊與第一個殘差模塊設計上稍有不同，因為后3個殘差模塊的第一個殘差單元輸入輸出特征維度改變，所以需要額外在跳層連接加入1×1的卷積對跳層連接的輸出進行調整；

特征對比網絡的結構：采用卷積層和線性層組成，輸入為特征特提取網絡提取到的深度特征，首先經過128個3×3卷積核對深度特征進行特征降維，之后進過批歸一化和非線性激活函數ReLU，增加模型的魯棒性和表達能力；在經過兩個線性層，線性層神經元個數分別為10和1，最后經過sigmoid函數，使輸出的相似度的值在0到1之間；

該方法分為兩個階段：訓練階段和測試階段；

訓練階段具體步驟如下：

第一步，建立訓練數據隊列；舌圖像數據集中腐膩特征分為膩，稍膩，非腐膩3類，每個類別分別有c₁，c₂，c₃個樣本；首先從每個類別選出q個樣本(其中q＜min(c₁，c₂，c₃)，則一共選出3×q個樣本，對3×q個樣本進行排列組合，可以形成(3×q)²個樣本對，樣本對中的兩個樣本存在先后順序；把所有產生的樣本對作為本次訓練時的數據隊列，訓練時每對樣本如果是同一類別的則標簽設置為1，否則設置為0，使用樣本對和對應標簽從而對模型進行訓練，需要注意的是每次訓練的排列組合樣本都是重新選取的；

第二步，利用特征提取網絡對樣本對提取特征；輸入為第一步建立的數據隊列中的樣本對，輸出為對應的舌圖像提取到的兩個深度特征；為了防止出現過擬合現象，采用預訓練模型的參數作為訓練時特征提取網絡的初始參數，并使用訓練數據進行整個網絡參數的訓練；

第三步，特征對比網絡對深度特征計算相似度；輸入為特征提取網絡輸出的兩個深度特征的拼接特征，具體為在空間維度上對特征提取網絡輸出的兩個深度特征進行拼接，提取到的深度特征維度為[c×h×w]，其中c、h、w分別代表特征圖的通道數、高、寬；拼接后的維度為[2c×h×w]；輸出為特征對比網絡計算的相似度大小的值；同一類別的樣本應該具有較高的相似度，不同類別的樣本之間的相似度較低；在中設置相似度的值越接近1則代表兩個深度特征越相似；同理相似度的值越接近0，則代表兩個深度特征相似度越低；

整個訓練過程的代價損失函數loss被分為兩部分；第一部分為輸入的樣本對否為同類樣本，訓練時約束網絡計算出的同類樣本之間的相似度的值接近于1，不同類樣本之間的相似度的值接近于0；表示為：

loss1＝-(y*log^p)+(1-y)*log^(1-p) (1)

其中p代表特征對比網絡計算出的相似度的值，y代表兩個樣本類別決定的樣本對標簽，如果樣本對的類別一樣則為1，反之為0；第二部分為兩個深度特征計算相似度的值時，應該沒有拼接順序的區別；假設特征提取網絡的輸出的兩個深度特征為a和b；假設ab代表a拼接b后的特征；F_R(ab)代表計算出的a和b之間的相似度，則F_R(ab)＝F_R(ba)，相同樣本對計算出的相似度的值應該相同；同時為了使loss2與loss1之間有相同的數量級，所以同樣用交叉熵來計算其損失函數，所以其可以表示為：

loss2＝-(y*log^F_R(ab)^-F_R(ba))+(1-y)*log^{(1-F_R(ab)-F-R(ba))} (2)

在計算loss2時，可以推出y＝0，所以最后loss2化簡為：

loss2＝log^{(1-F-R(ab)-F-R(ba))} (3)

所以總損失為loss＝loss1+loss2；

測試階段步驟如下：

第一步，利用訓練好的特征提取網絡對訓練集中所有樣本提取對應的深度特征，之后計算出每個類別的中心深度特征，即

使用類別中心深度特征代表該類在度量空間中的位置，得到類別數量的類別中心深度特征；測試樣本同樣經過特征提取網絡提取其深度特征；

第二步，利用學習到的度量準則即對比網絡，計算測試樣本的深度特征與每個類別中心深度特征之間的相似度的值，之后采用最近鄰的思想，把測試樣本歸為與之計算出相似度的值最大的類別。