[發明專利]一種基于知識與數據融合驅動的多模態醫學影像目標分割方法

在審

• 申請號: 202210767851.3
• 申請日: 2022-07-01
• 公開（公告）號: CN115115662A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 趙立明;黃濤;張亞博;黃俊之;孫浩文
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/143;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王詩思

1.一種基于知識與數據融合驅動的多模態醫學影像目標分割方法，其特征在于，該方法包括：獲取待檢測的醫學圖像，對待檢測的醫學圖像進行增強處理；將增強后的醫學圖像輸入到訓練好的目標分割模型中，得到分割結果；所述目標分割模型包括骨干網絡和分割網絡；

對目標分割模型進行訓練的過程包括：

S1：獲取不同用戶的多模態醫學影像數據，并對每個多模態醫學影像數據標注出組織器官輪廓；

S2：對劃分出組織器官輪廓的多模態醫學影像數據進行數據增強，得到訓練數據集；

S3：以人體解剖結構模型圖庫為先驗知識，構建不同身體區域的最優層次結構樹；

S4：將訓練數據集中的數據輸入到對應的最優層次結構樹中，從最優層次結構樹的根節點出發進行層序遍歷，得到定位框；

S5：采用骨干網絡對增強后的圖像進行特征提取，得到特征圖；

S6：根據定位框采用分割網絡對特征圖進行定位分割處理，得到分割結果；

S7：根據分割結果計算模型的損失函數，不斷調整參數，當損失函數收斂時完成模型的訓練。

2.根據權利要求1所述的一種基于知識與數據融合驅動的多模態醫學影像目標分割方法，其特征在于，對多模態醫學影像數據進行數據增強的過程包括：利用自適應數據標準篩查機制剔除多模態醫學影像數據中的離群數據；根據標注的組織器官輪廓在x-y-z方向上進行平移擾動及以x-y-z為軸進行透視變換；以待分割體素為中心，從矢狀面，冠狀面和水平面進行切片；對上述切片進行分區自適應直方圖均衡化和強度歸一化，得到訓練數據集。

3.根據權利要求2所述的一種基于知識與數據融合驅動的多模態醫學影像目標分割方法，其特征在于，采用自適應數據標準篩查機制剔除多模態醫學影像數據中的離群數據的過程包括：

步驟1：將數據集D劃分為k個大小相同的互斥子集，采用分層采樣的方法從數據集獲取數據，將采集的數據分配到每個子集中；

步驟2：將k-1個互斥子集的并集作為訓練集，余下的互斥子集作為測試集，得到k組訓練集和對應的測試集。

步驟3：將訓練集中的數據輸入到神經網絡模型中進行訓練，再將測試集中的數據輸入到神經網絡模型中進行前向推理，得到每個數據的Dice相似系數；

步驟4：根據Dice相似系數采用孤立森林算法剔除離群數據。

4.根據權利要求3所述的一種基于知識與數據融合驅動的多模態醫學影像目標分割方法，其特征在于，Dice系數的表達式為：

其中，TP為真正樣本，FP為假正樣本，FN為假負樣本。

5.根據權利要求1所述的一種基于知識與數據融合驅動的多模態醫學影像目標分割方法，其特征在于，構建不同目標區域的最優層次結構樹的過程包括：

S31：根據人體解剖結構模型圖庫對不同組織進行區域劃分，根據劃分后的區域構建待優化的層次結構樹，在層次結構樹中將每層的相同組織作為一個節點；

S32：從待優化的層次結構樹的第一層開始層序遍歷，將當前層次中的節點作為父節點，下一層次的節點作為子節點，計算父子節點之間的距離；

S33：根據計算的父子節點之間的距離在構建的層次結構樹中對重復的節點進行篩查，將重復的節點從層次結構樹中刪除；

S34：計算刪除重復節點后層次結構樹的所有情況的路徑和，將路徑和最小的層次結構樹作為最優層次結構樹。

6.根據權利要求1所述的一種基于知識與數據融合驅動的多模態醫學影像目標分割方法，其特征在于，得到定位框的過程包括：將訓練集中的三維影像數據輸入到最優層次結構樹，從最優層次結構樹的根節點出發進行層序遍歷；根據節點中編碼的組織器官共有特征，在父節點的內部進行匹配搜索，并將搜索到的組織器官切片后輸出，得到定位框。