[發明專利]基于多模態融合與深度學習的肝臟血管分割方法及系統

在審

• 申請號: 202110162875.1
• 申請日: 2021-02-05
• 公開（公告）號: CN113160120A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 趙亮;高瞻;羅杰;陳文;徐霖;何強;卞蓉蓉
• 申請（專利權）人: 十堰市太和醫院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/40;G06T17/00;G06K9/62;G06N3/04;G06N3/08;G06T5/30
• 代理公司: 重慶市信立達專利代理事務所(普通合伙) 50230
• 代理人: 陳炳萍

1.一種基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述基于多模態融合與深度學習的肝臟血管分割方法包括：

信息處理服務器從安全端口獲取患者的基本信息和DICOM格式的CT圖像序列；

級聯肝臟分割模塊，獲取對應的肝臟掩碼，自動調整窗寬、窗位轉換為PNG格式灰度圖片，根據掩碼取出肝臟部分；

通過Hessian矩陣提取血管紋理的梯度特征；通過聚類算法獲得血管局部信息；將二者通過模型進行融合預分割獲得血管局部圖像；

采用開運算去除預分割血管中的噪音，使用膨脹算法擴充血管區域，將其與肝臟原圖做與運算構造新的肝臟圖像；

通過gRPC，信息處理服務器將處理后的圖像傳輸給U-Net血管分割算法服務器進行計算，算法服務器再將結果傳回給信息處理服務器；

信息處理服務器將檢查者信息和血管分割結果傳入肝臟血管三維重建模型，三維重建模型返回VTK格式的三維重建結果。

2.如權利要求1所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述自動調整窗寬、窗位轉換為PNG格式灰度圖片具體過程為：自適應調整DICOM影像窗寬、窗位，以使肝臟血管出現最佳顯影效果，構建像素級別的肝臟血管圖像增強方法。

3.如權利要求1所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述步根據掩碼取出肝臟部分具體過程為：級聯肝臟分割模塊，獲取對應的肝臟掩碼，分割影像序列中肝臟區域。

4.如權利要求1所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述將二者通過模型進行融合預分割獲得血管局部圖像的具體過程為：采用雙通道的輸入融合肝臟血管特征，通道一輸入肝臟圖像的灰度值，并做歸一化處理，進而通過聚類算法獲取血管核心區域；

通道二輸入肝臟圖像經過Hessian矩陣處理后的血管紋理信息；

通過Hessian矩陣計算特征值λ₁和λ₂，根據特征值構建血管度量函數：

5.如權利要求4所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述通過模型對上述兩通道結果加權融合獲得血管核心區域圖像；通過開運算去除噪音數據，模型為血管預分割算法中的特征融合函數；采用膨脹算法，擴充去除噪音后的血管圖像，將其作為掩碼在肝臟原圖中預分割出血管及外周區域，形成新的數據集。

6.如權利要求1所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述信息處理服務器將處理后的圖像傳輸給U-Net血管分割算法服務器進行計算過程中，血管分割方法以U-Net架構為基礎的深度學習網絡通過改進模塊結構、損失函數、訓練策略等提升肝臟血管識別效能。

7.如權利要求1所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述信息處理服務器將檢查者信息和血管分割結果傳入肝臟血管三維重建模型中，進行肝臟血管分割，具體為：

采用U-Net模型訓練集，訓練集標簽由醫學影像專業技師勾畫和矯正，重復迭代訓練模型，直至結果性能滿足預設目標。

8.如權利要求7所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述U-Net模型為U-Net架構深度學習網絡模型，訓練集標簽由0、1、2構成，0標記圖片背景，1標記肝臟血管，2標記血管外周肝臟區域。

9.如權利要求7所述基于多模態融合與深度學習的肝臟血管分割方法，其特征在于，所述肝臟血管分割在信息處理服務器中采用預處理肝臟數據，通過gRPC，將處理后的圖像輸入訓練好的U-Net模型，輸出肝臟血管精細化分割結果。

10.一種實施如權利要求1～9任意一項所述基于多模態融合與深度學習的肝臟血管分割方法的基于多模態融合與深度學習的肝臟血管分割系統，其特征在于，所述基于多模態融合與深度學習的肝臟血管分割系統，包括：

信息和圖像獲取模塊，用于獲取檢查者的基本信息和CT圖像；

圖像信息處理模塊，信息處理服務器對將要進行肝臟血管分割的圖像進行預處理操作；

肝臟血管分割模塊，信息處理服務器將處理好的通信傳輸給血管分割算法服務器進行計算，算法服務器再將結果傳回給信息處理服務器；

血管三維重建模塊，用于將模型分割的血管圖像重建成三維立體的肝臟血管樹模型；

信息存儲模塊，用于將分割好的血管數據、三維血管模型和CT檢查者基本信息存放在特定數據庫和文件存儲區域。