[發明專利]一種基于深度哈希互學習的腦網絡分類方法

在審

• 申請號: 202310522896.9
• 申請日: 2023-05-10
• 公開（公告）號: CN116543215A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 冀俊忠;張雅琴
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06V10/40;G06V10/74;G06N3/042;G06N3/0464;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 王兆波

1.一種基于深度哈希互學習的腦網絡分類方法，其特征在于：通過個體特征和群體特征間的互學習來增強特征的辨別能力；首先使用基于CNN的深度哈希學習模型來提取腦網絡的個體特征并映射為哈希碼，設計可分離卷積層來提取多級的個體拓撲特征；其次，根據表型標簽之間的相似關系得到腦網絡的鄰接矩陣，并與個體特征一起構建群體關系圖；再次，采用基于GCN的深度哈希學習模型提取腦網絡的群體特征并映射為哈希碼；然后兩個深度哈希學習模型通過最小化哈希碼間的分布差異來相互學習，從而實現個體特征和群體特征的交互；最后，通過計算哈希碼之間的相似程度對新實例的診斷標簽進行預測。

2.根據權利要求1所述的基于深度哈希互學習的腦網絡分類方法，其特征在于，包括以下步驟：

步驟1，數據預處理和腦功能網絡構建；

獲取rs-fMRI數據，首先使用靜息態功能磁共振處理工具進行預處理，然后進行腦功能網絡的構建；具體方法如下，

步驟1.1，使用DPARSF對原始rs-fMRI數據進行預處理；

(1)刪除原始rs-fMRI時間序列的前5個時間點；

(2)采用線性插值方法消除隔層掃描出現的時間相位差，完成層時間校正；

(3)剔除水平頭動超過2mm和旋轉頭動超過2°的受試者數據，完成頭動校正；

(4)基于T1圖像進行rs-fMRI圖像的配準、平滑和濾波；

步驟1.2，構建腦網絡；

(1)根據腦圖譜定位大腦皮層中腦區的位置作為腦網絡的節點；

(2)計算節點間rs-fMRI時間序列的皮爾遜相關系數作為腦區間的功能連接強度，即腦區節點間連接邊的權重；

步驟2，腦網絡數據劃分；

將腦網絡數據集按照8:1:1的比例劃分成訓練集X_t、驗證集X_a和測試集X_e；訓練集中包含N個大腦網絡，對應的標簽集合表示為Y_t，其中包含診斷標簽集和表型標簽集為d代表診斷標簽，p代表表型標簽；類似地，驗證集中包含M個大腦網絡，對應的標簽集表示為測試集中包含K個大腦網絡，對應的標簽集表示為

步驟3，基于深度哈希學習的個體特征提取；

采用基于CNN的深度哈希學習模型I_H提取個體腦網絡的拓撲特征，并將其映射為哈希碼；具體來說，首先設計了五層CNN用于特征提取，提取過程定義為然后設計一個哈希層用于特征映射，映射過程定義為

步驟3.1，個體特征提取；

對于特征提取部分，采用可分離的CNN分別從邊級、節點級和圖級提取個體腦網絡的拓撲特征；L₀是接收腦網絡的輸入層；L₁是可分離的邊到邊層，包含逐通道E2E和逐點E2兩個過程，用于從輸入腦網絡中提取邊級拓撲特征；L₂是可分離的邊到節點層，包含逐通道E2N和逐點E2N兩個過程，用于從邊級特征中提取節點級特征；L₃是節點到圖層，用于從節點級特征中提取圖級特征；L₄是全連接層；具體過程如下；

(1)定義L₀-L₄層CNN的特征提取過程為在訓練過程中提取得到腦網絡的個體特征IF_t，公式表示為：

其中，X_t為訓練集，包含N個腦網絡；

(2)定義作用于L₀-L₄層的交叉熵損失函數J₁為：

其中，W^c和b分別表示可分離CNN的權重和偏置，和b_q∈b分別是Softmax層的權重和偏置，N是訓練集X_t包含的腦網絡數量，是X_t的診斷標簽集合，是Softmax函數，IF_t是腦網絡的個體特征，ξ(IF_t)是個體特征診斷標簽的預測概率；

步驟3.2，個體特征映射；

對于特征映射部分，設計一個哈希層通過哈希函數首先將提取出的個體特征映射為長度為l的特征向量，其中l是預定義的哈希碼長度，然后進行特征向量的二值化，最終得到個體拓撲特征對應的哈希碼表示；具體過程如下；

(1)定義哈希層的特征映射過程為將提取的個體特征IF_t經過哈希層映射為哈希碼IU_t，公式表示為：

其中，和b_h∈b分別是哈希層的權重和偏置，σ(·)是sigmoid函數，sgn(·)是符號函數，IU_t∈{0,1}^N×l是IF_t的哈希碼表示，N表示X_t中包含的腦網絡數量，l是預先確定的哈希碼長度，每個哈希碼是一個值為0或1的l維向量；訓練集X_t的哈希碼集合IU_t也稱為哈希碼庫；

(2)定義作用于哈希層的相似度保持損失函數J₂為：

其中，S∈{0,1}^N×N是根據診斷標簽構造的成對相似度矩陣，N表示X_t中包含的腦網絡數量，當腦網絡X_t(i)與腦網絡X_t(j)的診斷標簽相同時，即則s_ij＝1，否則s_ij＝0；iu_t(i)和iu_t(j)分別是腦網絡X_t(i)和X_t(j)個體特征的哈希碼表示；

步驟3.3，目標函數構造；

通過整合特征提取部分的損失函數J₁和特征映射部分的損失函數J₂，基于CNN的深度哈希學習模型I_H的目標函數定義為：

其中，W^c和b分別為模型I_H的權重和偏置；最后一項是正則化項，以避免模型在訓練階段過度擬合，λ₁,λ₂和λ_r為超參數；

步驟4，基于深度哈希學習的群體特征提取；

采用基于GCN的深度哈希學習模型G_H提取群體腦網絡的拓撲特征，并將其映射為哈希碼；具體來說，首先根據表型標簽的相似性構建鄰接矩陣A，然后結合從步驟3中提取的個體腦網絡特征IF_t構建群體關系圖P，最后使用GCN提取腦網絡的群體特征并通過哈希層映射為哈希碼，GCN提取過程定義為映射過程定義為

步驟4.1，群體腦網絡的鄰接矩陣A構建；

(1)計算腦網絡表型標簽向量間的馬氏距離，計算公式如下：

其中，D＝{d_ij|i,j＝1,…,N}為馬氏距離，可以消除不同表型標簽間的尺度差異；分別為腦網絡x_t(i)和x_t(j)的表型標簽向量，C∈R^N×N為協方差矩陣，N表示X_t中腦網絡的個數，C^-1為協方差矩陣的逆；

(2)定義群體腦網絡的鄰接矩陣：

s.t.α∈(0,1)

其中，A＝{a_ij|i,j＝1,…,N}為鄰接矩陣，a_ij＝1表示兩個腦網絡x_t(i)和x_t(j)之間存在連接，a_ij＝0表示腦網絡x_t(i)和x_t(j)不是相鄰節點，α用于控制腦網絡之間的連接邊數量，D為馬氏距離，max(D)為D的最大值；

步驟4.2，群體腦網絡關系圖P構建；

以單個腦網絡{x_t(1),x_t(2),…,x_t(N)}為節點，A為鄰接矩陣，用于判斷節點之間是否存在邊，IF_t為節點的初始屬性特征，定義群關系圖P(A,IF_t)，其中A是表示圖結構的鄰接矩陣，IF_t是表示節點屬性的特征矩陣；

步驟4.3，群體特征提取；

對于特征提取部分，采用GCN提取群體腦網絡的特征；具體來說，L'₀是接收群體關系圖P的輸入層；L'₁-L'₂是圖卷積層，用于聚合相鄰節點的特征；具體過程如下；

(1)定義L'₀-L'₂層GCN的特征提取過程為在訓練過程中提取得到腦網絡的群體特征GF_t，公式表示為：

其中，X_t為訓練集，包含N個腦網絡；

(2)定義作用于L'₀-L'₂層的交叉熵損失函數J₃為：

其中，W^g為GCN的權重，N為X_t中的腦網絡個數，為X_t的診斷標簽集合，為Softmax函數，GF_t是腦網絡的群體特征，為群特征診斷標簽的預測概率；

步驟4.4，群體特征映射；

對于特征映射部分，設計一個哈希層通過哈希函數將提取出的群體特征映射為長度為l的哈希碼表示；具體過程如下；

(1)定義哈希層的特征映射過程為將提取的群體特征GF_t經過哈希層映射為哈希碼GU_t，公式表示為：

其中，σ(·)為sigmoid函數，sgn(·)為符號函數；GU_t是群體特征GF_t的哈希碼表示，每個哈希碼是一個值為0或1的l維向量，l是預先確定的哈希碼長度；

(2)定義作用于哈希層的相似度保持損失函數J₄為：

其中，S∈{0,1}^N×N為根據診斷標簽構造的成對相似度矩陣，s_ij∈S，N表示X_t中包含的腦網絡數量，gu_t(i)和gu_t(j)分別是腦網絡X_t(i)和X_t(j)群體特征的哈希碼表示；

步驟4.5，目標函數構造；

通過整合特征提取部分的損失函數J₃和特征映射部分的損失函數J₄，基于GCN的深度哈希學習模型G_H的目標函數定義為：

J(W^g)＝λ₃J₃+λ₄J₄

其中，W^g為模型G_H的權重，λ₃和λ₄是超參數；

步驟5，基于哈希碼的互學習；

為了使得兩個深度哈希學習模型I_H和G_H在訓練過程中協同學習并探索彼此學習到的特征，定義最大平均差異作為互學習過程的損失函數：

其中，IU_t是個體特征IF_t的哈希碼表示，GU_t是群體特征GF_t的哈希碼表示，δ(·)是高斯核函數，η是控制δ(·)范圍的標準差相關參數；因此，基于CNN的深度哈希學習模型I_H的目標函數更新為：

其中，W^c和b分別為模型I_H的權重和偏置；λ₁,λ₂,λ_m和λ_r為超參數；

基于GCN的深度哈希學習模型G_H的目標函數更新為：

J(W^g)＝λ₃J₃+λ₄J₄+λ'_mJ_m(14)

其中，W^g為模型G_H的權重，λ₃,λ₄和λ'_m是超參數；兩個模型通過相互學習共同優化，直到目標函數收斂；

步驟6，基于哈希碼的分類；

經過互學習步驟獲得訓練好的I_H模型后，使用驗證集X_a來驗證模型的分類性能，并進一步調整模型參數；具體過程如下；

(1)獲得驗證集X_a的哈希碼表示IU_a，計算公式如下：

其中，為I_H模型的特征提取函數，為I_H模型的特征映射函數；

(2)將訓練集的哈希碼IU_t(公式(3))作為哈希碼庫，計算IU_a中每個哈希碼iu_a(i)與IU_t中所有哈希碼之間的距離，在IU_t中找到距離最小的哈希碼，并將其標簽作為預測標簽計算公式表示為：

其中，表示訓練集X_t的真實診斷標簽，N為訓練集X_t包含的腦網絡數量，，M是X_a中包含的腦網絡數量，為XOR邏輯運算；

(3)當DHML方法的損失函數達到收斂以及驗證集的預測準確率不再提升，保留此時的模型和哈希碼庫，用于測試集腦網絡X_e的診斷標簽分類。