[發明專利]一種基于深度學習與輪廓特征的醫學圖像配準方法

在審

• 申請號: 202111643250.3
• 申請日: 2021-12-29
• 公開（公告）號: CN114332018A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 姚念民;方經義
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/12;G06T7/13;G06T7/33;G06T3/40;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 遼寧鴻文知識產權代理有限公司 21102
• 代理人: 王海波

1.一種基于深度學習與輪廓特征的醫學圖像配準方法，其特征在于，包括如下步驟：

步驟(1)：對醫學圖像數據集進行預處理，包括圖像裁剪、歸一化處理以及仿射配準；

步驟(2)：根據圖像預先分割結果提取其輪廓特征，構建對于輪廓特征的相似性度量；

步驟(3)：在預處理后的圖像及其對應的輪廓特征中，選取一對作為參考圖像I_F與參考輪廓G_F，其它作為浮動圖像I_M與浮動輪廓G_M；

步驟(4)：將參考圖像I_F與浮動圖像I_M作為神經網絡的輸入，并加入其對應的輪廓特征G_F和G_M作為額外信息輔助訓練，構建形變參數模型；將參考圖像I_F與浮動圖像I_M作為神經網絡的輸入，不加入輪廓特征，構建形變場平滑模型；構建形變參數模型和形變場平滑模型的損失函數，交替優化兩個網絡模型參數；

步驟(5)：將待配準圖像與參考圖像輸入訓練好的形變場平滑模型，得到待配準圖像的配準結果；

所述步驟(2)包括以下步驟：

(2.1)獲取每幅醫學圖像的分割結果，并將其按相同類別對應同一灰度值的形式存儲；

(2.2)對于醫學圖像的分割結果S，使用Sobel算子對其進行邊緣檢測，得到醫學圖像的輪廓特征，也即梯度圖像G；Sobel算子包含兩個卷積核，分別為橫向與縱向卷積核；分別將橫向與縱向卷積核同分割結果S做卷積運算，即：

其中，*為卷積運算符，G_x和G_y分別為分割結果橫向和縱向的梯度值；

根據所述兩個梯度值，計算得到每個分割結果的梯度圖像，即輪廓特征，計算公式為：

對于三維醫學圖像，將上述Sobel算子轉換為對應的三維進行運算；

(2.3)基于歸一化互相關匹配算法描述輪廓特征相似度；通過在兩幅圖像I₁、I₂的相同像素位置x處構建寬度為w的鄰域匹配窗口，建立目標函數來度量該對窗口的相關性，其目標函數定義如下：

其中，Ω為像素位置集合，和分別為x鄰域內的局部灰度平均值，x_i表示x鄰域內的像素位置；

將步驟(2.2)所得的輪廓特征作為參數計算NCC(G₁,G₂)，得到每對輪廓特征的相似性度量；

所述步驟(4)包括以下步驟：

(4.1)構建形變參數模型：

(4.1.1)將所述的參考圖像I_F與一個浮動圖像I_M在圖像通道上進行合并，得到一幅2通道的圖像作為神經網絡的輸入層；

(4.1.2)對網絡的輸入進行下采樣，獲得下采樣特征圖；

(4.1.3)對步驟(4.1.2)所獲得下采樣特征圖進行上采樣，獲得上采樣特征圖；

(4.1.4)對上采樣特征圖進行進一步細化，獲得對應浮動圖像I_M到參考圖像I_F的形變場φ_t；

(4.1.5)將浮動圖像I_M和形變場φ_t輸入到可微的空間變換網絡，同時將浮動圖像I_M對應的輪廓特征G_M和形變場φ_t輸入到所述空間變換網絡，分別經過空間變換網絡的空間變換，得到對應變形后的圖像及其輪廓特征

所述的空間變換網絡為STN網絡，包含三個組成部分，分別為本地化網絡、網格生成器及采樣器；STN網絡首先使用本地化網絡來預測所需的變換，之后使用網格生成器和采樣器對圖片實施變換；網格生成器采用線性插值方式進行插值；

(4.2)構建形變場平滑模型：構建形變場平滑模型的過程與步驟(4.1.1)至步驟(4.1.4)相同，模型的架構以及初始化參數也與形變參數模型完全相同；輸入的參考圖像I_F與浮動圖像I_M經過形變場平滑模型的計算，得到對應輸入圖像尺寸的形變場φ_s；

(4.3)交替優化網絡模型參數：

(4.3.1)根據輸入的參考圖像I_F、形變參數模型預測的形變場φ_t、形變場平滑模型預測的形變場φ_s、以及應變形后的圖像及其輪廓特征構建優化形變參數模型的損失函數；所述損失函數表達式定義如下：

其中，L_I表示參考圖像I_F與變形后的圖像之間的相似性度量，L_G表示參考圖像I_F的輪廓特征G_F與浮動圖像I_M的輪廓特征G_M變形后的特征之間的相似性度量，L_dist表示形變參數模型預測的形變場φ_t與形變場平滑模型預測的形變場φ_s之間的L2距離，α、β為控制損失函數的超參數，γ為控制兩形變場之間差異的超參數，表示允許形變場存在的不確定性程度；

對于損失函數中的相似性度量L_I與L_G，同時采用步驟(2.3)所述歸一化互相關函數；對于損失函數中的L2距離L_dist，采用均值平方差損失，所述損失函數定義如下：

其中，Ω為像素位置集合，x為圖像I₁、I₂的相同像素位置；

(4.3.2)根據步驟(4.3.1)得到的形變參數模型預測的形變場φ_t以及形變場平滑模型預測的形變場φ_s，構建優化形變場平滑模型的損失函數；所述損失函數表達式定義如下：

L_s(φ_t,φ_s)＝γL_dist(φ_t,φ_s)+σL_R(φ_s)

其中，L_dist表示形變參數模型預測的形變場φ_t與形變場平滑模型預測的形變場φ_s之間的L2距離，L_R表示正則項損失，γ為控制兩形變場之間差異的超參數，σ為正則化控制參數；

對于損失函數中的L2距離L_dist，采用步驟(4.3.1)所述的均值平方差損失；對于損失函數中的正則項損失L_R，定義如下：

其中，m表示像素位置x處的位移；對于三維圖像表示為

(4.3.3)在初始化情況下，使形變參數模型與形變場平滑模型參數完全相同，即之后執行交替優化的策略；在一次迭代過程中，固定形變場平滑模型的網絡參數，即固定其中i表示迭代次數，根據L_t損失函數值，進行形變參數模型的網絡參數反向傳播；再之后固定形變參數模型的網絡參數，即固定根據L_s損失函數值，進行形變場平滑模型的網絡參數反向傳播；其中在每次迭代過程中，都使輸入兩個網絡模型的參考圖像I_F與浮動圖像I_M相同；執行所述交替優化策略，直到損失函數收斂至最低或迭代達到預先設定好的次數，認為網絡參數優化完成，最終得到訓練完成的兩個網絡模型，保存其中的形變場平滑模型作為最終醫學圖像配準網絡模型。