[發明專利]一種基于深度學習的多模態醫學圖像融合方法

在審

• 申請號: 202210936228.6
• 申請日: 2022-08-05
• 公開（公告）號: CN115272261A
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 方美娥;姚丹陽;溫金玉
• 申請（專利權）人: 廣州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50;G06T5/00;G06V10/42;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 郭成文

1.一種基于深度學習的多模態醫學圖像融合方法，其特征在于，包括以下步驟：

獲取多模態醫學圖像；其中所述多模態醫學圖像包括解剖圖像和功能圖像，所述解剖圖像包括第一解剖圖像和第二解剖圖像，其中所述第一解剖圖像、所述第二解剖圖像和功能圖像為三種不同模態的醫學圖像；

對所述第一解剖圖像和所述功能圖像分別進行高頻特征提取，得到第一高頻特征信息和第二高頻特征信息；

對所述第二解剖圖像和所述功能圖像分別進行低頻特征提取，得到第一低頻特征信息和第二低頻特征信息；

對所述解剖圖像的特征信息進行頻域轉換，得到頻域特征信息；其中所述頻域特征信息包括第一高頻頻域信息和第一低頻頻域信息；

將所述頻域特征信息與功能特征信息進行融合，基于融合結果輸出融合圖像；其中所述功能特征信息包括第二高頻特征信息和第二低頻特征信息；

獲取多模態醫學圖像之前的過程包括：

獲取多模態醫學圖像的訓練集，構建卷積神經網絡，通過所述訓練集訓練所述卷積神經網絡，基于訓練好的卷積神經網絡，匹配多模態醫學圖像；

得到第一高頻特征信息和第二高頻特征信息的過程包括：

基于訓練好的卷積神經網絡，通過卷積操作、批處理歸一化，對所述第一解剖圖像進行高頻特征提取，得到第一高頻特征信息；

基于訓練好的卷積神經網絡，通過卷積操作、批處理歸一化，對所述功能圖像進行高頻特征提取，得到第二高頻特征信息；

得到第一低頻特征信息和第二低頻特征信息的過程包括：

基于訓練好的卷積神經網絡，通過卷積操作、批處理歸一化及改變卷積通道，對所述第二解剖圖像進行低頻特征提取，得到第一低頻特征信息；

基于訓練好的卷積神經網絡，通過卷積操作、批處理歸一化及改變卷積通道，對所述功能圖像進行低頻特征提取，得到第二低頻特征信息。

2.根據權利要求1所述的基于深度學習的多模態醫學圖像融合方法，其特征在于，得到頻域特征信息的過程包括：

將所述解剖圖像的特征信息從空間域轉換到頻率域，并將所述解剖圖像的特征信息轉換為振幅值和不同頻率下的相位，得到頻域特征信息。

3.根據權利要求2所述的基于深度學習的多模態醫學圖像融合方法，其特征在于，將所述解剖圖像的特征信息從空間域轉換到頻率域的過程還包括：

將所述解剖圖像提取的高、低頻信息轉換為能量梯度，消除周期性噪聲。

4.根據權利要求1所述的基于深度學習的多模態醫學圖像融合方法，其特征在于，將所述頻域特征信息與功能特征信息進行融合的過程包括：

將所述第一高頻頻域信息和所述第二高頻特征信息進行融合求平均操作，得到高頻融合信息；

將所述第一低頻頻域信息和所述第二低頻特征信息進行融合求平均操作，得到低頻融合信息。

5.根據權利要求4所述的基于深度學習的多模態醫學圖像融合方法，其特征在于，輸出融合圖像的過程包括：

基于所述高頻融合信息和所述低頻融合信息，通過均值計算、卷積操作、Tanh函數處理，輸出融合圖像。