[發明專利]基于多模態融合與深度學習的肝臟血管分割方法及系統

在審

• 申請號: 202110162875.1
• 申請日: 2021-02-05
• 公開（公告）號: CN113160120A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 趙亮;高瞻;羅杰;陳文;徐霖;何強;卞蓉蓉
• 申請（專利權）人: 十堰市太和醫院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/40;G06T17/00;G06K9/62;G06N3/04;G06N3/08;G06T5/30
• 代理公司: 重慶市信立達專利代理事務所(普通合伙) 50230
• 代理人: 陳炳萍

本發明屬于醫學圖像處理技術領域，公開了一種基于多模態融合與深度學習的肝臟血管分割方法及系統，包括：信息和圖像獲取模塊，用于獲取檢查者的基本信息和CT圖像；圖像信息處理模塊，信息處理服務器對將要進行肝臟血管分割的圖像進行預處理操作；肝臟血管分割模塊，信息處理服務器將處理好的通信傳輸給血管分割算法服務器進行計算，算法服務器再將結果傳回給信息處理服務器；血管三維重建模塊，用于將模型分割的血管圖像重建成三維立體的肝臟血管樹模型。本發明借助經典的機器學習算法獲取肝臟血管及周圍局部信息，結合深度學習模型精準分割肝臟血管，能使較細小、模糊的肝臟血管分支識別出來，有效提升了肝臟血管分割的精準度和精細度。

技術領域

本發明屬于醫學圖像處理技術領域，尤其涉及一種基于多模態融合與深度 學習的肝臟血管分割方法及系統。

背景技術

目前，人工智能和醫療相結合的產品和應用已不再少數，如肺結節智能檢 測、心血管檢查、各類腫瘤疾病智能診斷等等，皆表現出非常不錯的效果，極 大的推動了醫療技術領域的進步。醫學CT影像是經過物理和化學的方式形成的 圖像，人體各個器官或病變因為吸收物理光線能力的不同或者化學劑的影響而 表現密度上的不同，通過CT影像，醫生可以在視覺上分辨人體內部結構。但在 一些特殊環境下，專業的醫生依舊無法高效、準確辨別細微器官和病變情況。 計算機視覺和醫學影像一直聯系非常緊密，通過神經網絡模型可以實現對醫學 影像中目標對象的分割，使目標實體顯現的更加清晰。尤其是U-Net神經網絡 模型，將常見的卷積神經網絡變成U型結構讓左右對應網絡層橋接，其深度依 然是整個網絡的層數，保證能夠學習到更好的類別特征。

據研究估計，中國超過五分之一的人群受到肝臟疾病的困擾。根據2018年 國際癌癥研究中心報告，中國的肝癌發病率位居男性癌癥第三、死亡率第二， 基于人口規模估計，中國的肝癌患者人數全球最多。目前臨床治療肝癌方法主 要有肝臟腫瘤切除術、肝臟移植術、基于增強CT圖像引導的射頻/微波消融術 等，而精準掌握肝臟血管邊緣、血管分支和血管與病灶關系是這些手術成功的 關鍵。單個患者做CT檢查產生的影像切片約為200～500張，通過影像專家對 CT掃描切片中的肝臟血管進行手動分割費時、費力且容易出錯。因此，結合人 工智能技術和計算機視覺實現肝臟血管的自動分割和三維模型重建，是目前最 為有效的解決方法之一。

目前，關于肝臟血管分割算法的研究較少，國內尚沒有成熟的技術或產品 公布。主要原因有以下三點：一是，不同患者、不同肝臟疾病顯影差異相對較 大，一些傳統算法不能統一化處理；二是，肝臟和肝臟血管在密度上表現差別 不大，同質性強，不易區分；三是，肝臟血管細小、模糊，不易標注，缺乏大 量有效數據集?，F有技術中基于灰度或梯度的經典血管分割算法，如三維區域 生長、模糊聚類等，無法有效解決低對比度的肝臟血管分割；而一般的深度學 習網絡模型，訓練數據集規模受限，且容易受到血管和肝臟正負樣本不均衡的 影響。

通過上述分析，現有技術存在的問題及缺陷為：現有技術中基于灰度或梯 度的經典血管分割算法無法有效解決低對比度的肝臟血管分割；而且一般的深 度學習網絡模型，訓練數據集規模受限，且容易受到血管和肝臟正負樣本不均 衡的影響。

解決以上問題及缺陷的難度為：

算法優化方面，一是絕大多數肝臟血管細小且分辨度有限，肝臟血管與肝 臟區域的對比度低，肝臟病灶區域干擾性強，導致肝臟血管特征很難捕捉，對 肝臟血管的數據處理和模型的識別能力何提出很大挑戰；二是肝臟血管與肝臟 區域正負樣本比例極不均衡，需要通過有效手段大量減少負樣本；三是不同患 者肝臟影像差異性很大，需要大量增加數據多樣性，提升模型準確性。基于此 本研究提出三種不同的改進方法：一是利用多模態融合的方法預分割肝臟血管， 過濾掉非血管區域的噪聲干擾；二是對預分割的肝臟血管區域進行膨脹，取出 膨脹后的非血管區域為負樣本；三是持續增加和矯正數據參與模型訓練，用與 算法相互反饋的系統不斷拓展其規模。