[發明專利]基于深度學習的多模態醫學圖像融合方法及系統

在審

• 申請號: 202110633334.2
• 申請日: 2021-06-07
• 公開（公告）號: CN113506334A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 劉星宇;張逸凌
• 申請（專利權）人: 劉星宇;北京長木谷醫療科技有限公司
• 主分類號: G06T7/38
• 分類號: G06T7/38;G06T7/11;G06T5/50;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種基于深度學習的多模態醫學圖像融合方法及系統，該方法包括：獲取患者的至少兩種模態的二維醫學圖像；將所述至少兩種模態的二維醫學圖像分別輸入至預先訓練的相應的圖像分割網絡模型，以分別獲得各個模態本體位置區域的二維醫學圖像的輸出；基于點云配準算法，將所述各個模態本體位置區域的二維醫學圖像進行點云配準融合，以獲得多模態相融合二維醫學圖像；對所述多模態相融合二維醫學圖像進行三維重建處理，以獲得多模態相融合三維醫學圖像。本發明的多模態醫學圖像配準精度高，適用于多種復雜的圖像融合情況，還可以提高術者的手術準確性以及提高手術效率。

技術領域

本發明涉及醫學圖像處理技術領域，具體涉及一種基于深度學習的多模態醫學圖像融合方法及系統。

背景技術

在現代數字化醫療診斷過程中，醫護人員通常需要在進行手術之前利用已采集的患者的多模態三維圖像對患者病變部位進行分析，從而制定適宜的手術計劃。由于各個圖像突出顯示的圖像特征不同，為了便于醫生觀察和制定手術計劃，則需要對術前采集的多種模態的圖像的優點進行綜合，即需要進行多模態圖像配準，以將不同模態的圖像配準至同一角度并將各個圖像能提供的患者病變部位的圖像特征融合至一張圖像上顯示。

相關的多模態圖像配準技術，通常采用迭代最近點方法、或求解待配準圖像間距離函數最優化問題的方法，在實現本公開實施例的過程中，發現相關技術中至少存在如下問題：

對各圖像初始對齊狀況、相似度要求較高，導致圖像配準融合的復雜度較高，圖像配準融合精度較低，時間成本較高，且無法有效應用于非剛性配準。

發明內容

本發明提供一種基于深度學習的多模態醫學圖像融合方法及系統，用以克服現有技術中多模態圖像配準融合精度低、復雜度高、時間成本高以及無法有效應用于非剛性配準情況等的缺陷，實現提升多模態圖像融合精準度、降低時間成本，適用于多種復雜的圖像融合情況，還可以提高術者的手術準確性以及提高手術效率，以及可有效應用于非剛性配準情況的效果。

本發明提供一種基于深度學習的多模態醫學圖像融合方法，包括：

獲取患者的至少兩種模態的二維醫學圖像；

將所述至少兩種模態的二維醫學圖像分別輸入至預先訓練的相應的圖像分割網絡模型，以分別獲得各個模態本體位置區域的二維醫學圖像的輸出；

基于點云配準算法，將所述各個模態本體位置區域的二維醫學圖像進行點云配準融合，以獲得多模態相融合二維醫學圖像；

對所述多模態相融合二維醫學圖像進行三維重建處理，以獲得多模態相融合三維醫學圖像。

在一些實施例中，基于點云配準算法，將所述各個模態本體位置區域的二維醫學圖像進行點云配準融合，以獲得多模態相融合二維醫學圖像，包括：

分別基于所述各個模態本體位置區域的二維醫學圖像，確定其本體標志點集和本體頭標志點集分別作為各個模態的二維醫學圖像相對應的點云集；

基于點云配準算法，將各個模態二維醫學圖像相應的點云集進行點云配準融合，以獲得多模態相融合二維醫學圖像。

在一些實施例中，所述至少兩種模態的二維醫學圖像包括二維 CT醫學圖像、二維MRI醫學圖像、二維超聲醫學圖像、二維PETCT 醫學圖像中的至少兩種，所述本體包括股骨，所述本體頭包括股骨頭；

分別基于所述各個模態本體位置區域的二維醫學圖像，確定其本體標志點集和本體頭標志點集分別作為各個模態的二維醫學圖像相對應的點云集，包括：

基于股骨位置區域的二維CT醫學圖像，確定其股骨中心點集和股骨頭中心點集作為CT模態相應的第一點云集；基于所述股骨位置區域的二維MRI醫學圖像，確定其股骨中心點集和股骨頭中心點集作為MRI模態相應的第二點云集；