[發明專利]基于2D CAM的大腦核磁共振異常圖像的可視化方法

有效

• 申請號: 201911130123.6
• 申請日: 2019-11-18
• 公開（公告）號: CN110992316B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 柯豐愷;劉歡平;趙大興;孫國棟;馮維
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/082;G06N3/084
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 王和平;張繼巍

1.一種基于2D?CAM的大腦核磁共振異常圖像的可視化方法，其特征在于：所述可視化方法如下：

1)采集患者的大腦核磁共振異常圖像作為訓練樣本；

2)利用訓練樣本對2D?CAM進行訓練，確定訓練后的網絡參數即系數矩陣W和偏倚向量b值；

21)構建2D?CAM模型，并隨機初始化網絡參數；

構建2D?CAM模型，該2D?CAM模型包括輸入層、卷積層、池化層、全局平均池化層、全連接層及輸出層，并對2D?CAM模型初始化，即初始化所有隱藏層與輸出層所對應的系數矩陣W和偏倚向量b值，使系數矩陣W和偏倚向量b值為一個初始的隨機值；

22)2D?CAM網絡第一次正向迭代；

23)2D?CAM網絡第一次反向迭代；

24)循環步驟22)和步驟23)進行多次迭代，不斷更新神經網絡的參數，直至所有權重W^l，偏置b^l的變化值都小于停止迭代閾值ε時停止迭代，即確定了最終各隱藏層與輸出層的權重W^l和偏置b^l；

所述步驟22)中，具體過程如下：

221)大腦核磁共振異常圖像作為輸入層；

以三維的大腦核磁共振異常圖像沿第一維度切片的m張二維圖像作為2D?CAM模型的輸入層，輸入層采用的是分辨率大小為H×L的2D?MRI圖像，H代表的是2D?MRI圖像的高度，L代表的是2D?MRI圖像的寬度；將每張二維的核磁共振異常圖像的像素點進行順序排列，用來作為輸入層神經元的值，假設神經網絡的輸入層神經元輸入為向量x，向量x中的每個元素x_i的值即對應著輸入層對應的每個神經元i，神經元的輸出值a^i,1也是輸入向量x本身；

222)卷積層Conv?1a層采用N個大小F₀為H₀×L₀的二維卷積核對步驟1)的核磁共振異常圖像進行二維卷積，獲取Conv?1a層二維卷積后特征圖，其中H₀遠小于H、L₀遠小于L；

卷積層Conv?1a層的二維卷積核的個數為N個、尺寸大小F₀為H₀×L₀，步長stride記為S_C1，特征圖填充圈數為Padding-F₁，2D?MRI圖像作為2D?CAM網絡的輸入層，采用N個二維卷積核對步驟221)中2D?MRI圖像進行二維卷積，有多少個卷積核得到多少個特征圖像，因此得到了數量為m×N的Conv?1a層二維卷積后特征圖，分辨率大小為Hc₁×Lc₁，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1，Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

由于整個神經網絡也是全連接網絡，每個隱藏層的每個神經元都有連接到上一層神經元的權重和偏置b^l，其中代表從l-1層的第i個神經元到l層第j個神經元之間的連接權重，也可記為W^l，b^l代表從l-1層到l層的偏置；因此Conv?1a層在采用N個二維卷積核對步驟221)中2D?MRI圖像進行二維卷積時，得到該卷積層的神經元連接到輸入層神經元的權重為W²，一個偏置為b²，Conv?1a層的輸出為a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ為激勵函數Relu，a^i,l代表第l層的第i個神經元輸出值；

223)池化層的Pool?1層對Conv?1a層二維卷積后特征圖進行池化；

池化層的Pool?1層采用池化核尺寸大小為p₀，步長stride記為S_P1，特征圖填充圈數為Padding-P_1，對Conv?1a層所得到的每一張二維卷積后特征圖進行降維采樣得到Pool?1層池化后特征圖，即m×N張分辨率大小H_p1×L_p1的圖像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1，L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

Pool?1層在池化Conv?1a層二維卷積后所得到的特征圖過程中，沒有涉及參數W及b，而是按照池化區域大小和最大池化標準將輸入張量a縮小的過程，即所得到的輸出張量為a^i,3＝pool(a^i,2)；

224)卷積層Conv?2a層對Pool?1層池化后特征圖進行二次二維卷積；

卷積層Conv?2a層的二維卷積核的個數為2N個、尺寸大小F₀為H₀×L₀，步長stride記為S_C2，特征圖填充圈數為Padding-F₂，對Pool?1層每一張池化后特征圖進行二次二維卷積得到m×2N個Conv?2a層二維卷積后特征圖，分辨率大小為Hc₂×Lc₂，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1，Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Conv?2a層采用2N個二維卷積核對Pool?1后每一張池化后特征圖卷積時，得到的該卷積層的神經元連接到Pool?1層神經元的權重W²，以及一個偏置b²，Conv?2a層的輸出為a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化層的Pool?2層對Conv?2a層二維卷積后特征圖進行池化；

池化層的Pool?2層采用池化核尺寸大小為p₀，步長stride記為S_P2，特征圖填充圈數為Padding-P₂，對Conv?2a層所得到的每一張二維卷積后特征圖進行降維采樣得到Pool?2層池化后特征圖，即m×2N張分辨率大小H_p2×L_p2的圖像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1，L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool?2層池化Conv?2a層二維卷積后所得到的特征圖過程中，沒有W、b參數，而是按照池化區域大小和最大池化標準將輸入張量a縮小的過程，即所得到的輸出張量為a^i,5＝pool(a^i,4)；

226)至少重復一次步驟224)和重復一次步驟225)且循環多次直至完成提前設定的卷積、池化層數后，停止卷積和池化；

227)對步驟226)中最后一層池化后特征圖進行全局平均池化操作；

對最后一層池化后的特征圖進行全局平均池化，計算每一張二維特征圖所有像素點的均值，輸出每一張池化后特征圖的數據值，每個數據值也分別相對應著一個神經元；

228)采用全連接層將步驟227)每一張特征圖全局平均池化后所對應的全部神經元全連接至一個個的單一神經元；

229)采用全連接層連接至步驟228)所有單一神經元，所有單一神經元對應的數據值形成一個特征向量，將特征向量輸送至分類輸出層并輸出多個類別；

步驟3)根據不同的核磁共振異常圖像創建可視化熱度圖；

31)提取訓練后2D?CAM模型中步驟229)全連接層的所有權重w'；

32)提取訓練后2D?CAM模型中步驟228)全連接層連接至一個個單一神經元的所有權重w”，即為w”₁、w”₂、...、w”_j；

33)將步驟228)全局平均池化后特征圖中乘以其步驟31)和步驟32)中相應的權重w'w”；

34)將得到多張熱力圖進行熱力圖歸一化，按第一維度展開成所需的患者原大腦核磁共振異常圖像的大小，將切片特征圖相加，然后按進行圖像二維顯示，實現了基于2D?CAM的大腦核磁共振異常圖像的可視化。