[發明專利]一種三維斷層掃描圖像中樹狀結構分叉關鍵點的檢測方法

有效

• 申請號: 202011446025.6
• 申請日: 2020-12-11
• 公開（公告）號: CN112541893B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 馮建江;周杰;譚子萌
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/143;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

1.一種三維斷層掃描圖像中樹狀結構分叉關鍵點的檢測方法，該方法分為離線階段和在現階段，其特征在于，該方法包括以下步驟：

(1)離線階段；

(1-1)獲取原始數據集并對原始數據集的每張圖像進行預處理；

獲取N張包含同一解剖學樹狀結構的三維斷層掃描圖像作為原始圖像，將所有原始圖像組成原始數據集；對原始數據集中的每張原始圖像進行預處理，預處理完畢后的所有圖像組成預處理完畢的數據集；所述預處理包括對每張原始圖像統一分辨率并將每張原始圖像裁剪成統一尺寸，其中，裁剪后的圖像包含原始圖像中完整的樹狀結構；

(1-2)對步驟(1-1)預處理完畢的數據集中的每張圖像進行標注，所述標注包括每張圖像的樹狀結構分叉處關鍵點標注和樹狀結構整體分割標注兩部分，其中關鍵點標注結果為該圖像對應的所有分叉關鍵點三維坐標，分割標注結果為該圖像對應的逐像素二值圖，該二值圖中樹狀結構部分的像素值為1，背景部分的像素值為0；

(1-3)利用步驟(1-2)的結果，生成每張預處理完畢的圖像對應的分叉關鍵點檢測、樹狀結構分割、分支向量場回歸三個任務的預測目標；具體步驟如下：

(1-3-1)關鍵點檢測任務預測目標生成；

對于每張預處理完畢的圖像，以該圖像中每個關鍵點分別作為目標關鍵點，則該目標關鍵點對應熱圖是以該目標關鍵點位置為中心、呈標準差為σ的三維高斯分布，該熱圖即為該關鍵點對應的關鍵點檢測任務預測目標；其中，該圖像的所有關鍵點共享一張背景熱圖；因此，該圖像對應的熱圖生成的計算表達式為：

其中，x_k為預處理完畢的任一圖像的第k個關鍵點的空間坐標，為該關鍵點對應的熱圖，k＝1，...，N_l；N_l為該圖像中關鍵點個數，為該圖像所有關鍵點共享的背景熱圖；

(1-3-2)樹狀結構分割任務預測目標生成；

根據預處理完畢的圖像的樹狀結構，將主干與各分支依據對應分叉位置的關鍵點劃分為不同的類；然后，根據分類對預處理完畢的每張圖像進行各類子結構區域二值化得到該圖像中各分類對應的分割概率圖作為該分類對應的樹狀結構分割任務預測目標，每張分割概率圖均為一張二值圖，大小與預處理完畢的圖像一致，該分割概率圖上對應分類的像素為1，其余像素為0；

(1-3-3)分支向量場回歸任務預測目標生成；

對于每張預處理完畢的圖像，基于步驟(1-2)得到的關鍵點三維坐標與步驟(1-3-2)生成的分割概率圖，在該圖像各分支上生成向量場，該向量場包括x、y、z三個通道，分別反映該分支兩端起始關鍵點、結束關鍵點在三個軸向上的坐標差；

(1-3-4)將每張預處理完畢的圖像及對應的關鍵點標注結果、熱圖、分割概率圖、分支向量場構成一個訓練數據對，所有的訓練數據對共同構成訓練數據集；

(1-4)構建深度學習網絡；

所述深度學習網絡由主干部分和三個分支構成，其中主干部分采用U-Net結構，主干部分的最后一層分別連接三個分支，每個分支由一個殘差模塊、一個卷積核大小為1×1×1的卷積層構成；

該網絡的輸入為預處理完畢的圖像，三個分支的輸出分別為該輸入圖像對應的每個關鍵點對應熱圖的預測結果、每個分類對應的分割概率圖的預測結果、每個分支對應的分支向量場的預測結果，三個預測結果的分辨率與大小均與輸入圖像保持一致；

(1-5)利用步驟(1-3)生成的訓練數據集，對步驟(1-4)構建的深度學習網絡進行訓練，得到訓練完畢后的深度學習網絡；具體步驟如下：

(1-5-1)對步驟(1-4)建立的網絡隨機初始化網絡參數；從步驟(1-3)生成的訓練數據集中隨機選取一個訓練數據對，將該訓練數據對中的預處理完畢的圖像輸入步驟(1-4)建立的深度學習網絡中，得到網絡三個分支的最后一層輸出為對應的三個預測結果；

(1-5-2)將步驟(1-5-1)得到的三個預測結果和步驟(1-5-1)選取的訓練數據對中對應的預測目標分別輸入各預測任務對應的損失函數中，得到相應的損失函數值；

計算網絡訓練的總損失函數：

其中，α、β為超參數；分別為關鍵點檢測任務、樹狀結構分割任務、分支向量場回歸任務的損失函數；

(1-5-3)每輸入一個訓練數據對，該網絡完成一次訓練；基于每次訓練得到的總損失函數值，通過梯度下降法最小化函數值，調整網絡參數；

當網絡訓練次數到達上限L次時，網絡訓練完畢，得到訓練完畢得的深度學習網絡；

(2)在線階段；

(2-1)獲取一張三維斷層掃描圖像，該圖像與步驟(1-1)的原始圖像為同一解剖學樹狀結構的三維斷層掃描圖像；

(2-2)對步驟(2-1)獲取的三維斷層掃描圖像進行預處理，預處理完畢后，該圖像的分辨率和裁剪后的尺寸均與離線階段預處理完畢的圖像一致；

(2-3)將步驟(2-2)預處理完畢后的圖像輸入步驟(1)訓練完畢的深度學習網絡中，該網絡輸出為輸入圖像對應的三個分支的預測結果，即分別為該輸入圖像對應的每個關鍵點對應的熱圖預測結果、每個分類對應的分割概率圖的預測結果、每個分支對應的分支向量場的預測結果；

(2-4)使用步驟(2-3)得到的熱圖預測結果與分割概率圖預測結果得到關鍵點的最終檢測結果，具體方法為：

首先對每張分割概率圖預測結果進行二值化處理，將二值化后的所有分割概率圖進行融合，得到單張的整體樹狀結構的分割概率圖，其中樹狀結構區域體素為1，背景區域體素為0；使用該整體樹狀結構的分割概率圖分別對每張熱圖預測結果進行過濾，將該整體樹狀結構的分割概率圖分別和每張熱圖預測結果逐體素相乘，在各張熱圖預測結果中將對應該整體樹狀結構的分割概率圖中被分割為背景的位置的體素值置為0；過濾完畢后，選擇每張熱圖預測結果中概率值最大的體素位置即為該熱圖對應的關鍵點的最終檢測結果。