[發明專利]多通道整合網絡的多模態醫學圖像融合方法及系統

在審

• 申請號: 202310359312.0
• 申請日: 2023-04-06
• 公開（公告）號: CN116433546A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 李小松;黃敬學;于昕梅;譚海曙;程曉琦;王曉磐
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/90;G06N3/0464
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 馮煒國

1.多通道整合網絡的多模態醫學圖像融合方法，其特征在于，包括以下步驟：

獲取待融合的多模態醫學圖像；

引入密集殘差塊，構建多尺度多通道圖像融合網絡模型；

將待融合的多模態醫學圖像輸入至多尺度多通道圖像融合網絡模型進行融合處理，輸出融合后的多模態醫學圖像。

2.根據權利要求1所述多通道整合網絡的多模態醫學圖像融合方法，其特征在于，所述獲取待融合的多模態醫學圖像這一步驟，其具體包括：

獲取具有RGB顏色空間的多模態醫學圖像；

對具有RGB顏色空間的多模態醫學圖像進行顏色空間轉換處理，得到具有YCrCb顏色空間的多模態醫學圖像，所述YCrCb顏色空間的多模態醫學圖像包括Y通道、Cr通道和Cb通道；

將YCrCb顏色空間的多模態醫學圖像的Y通道圖像與RGB顏色空間的多模態醫學圖像進行合并，得到待融合的多模態醫學圖像。

3.根據權利要求2所述多通道整合網絡的多模態醫學圖像融合方法，其特征在于，所述引入密集殘差塊，構建多尺度多通道圖像融合網絡模型這一步驟，其具體包括：

構建多尺度多通道圖像融合網絡模型，所述多尺度多通道圖像融合網絡模型包括第一卷積層、歸一化層、線性修改單元、密集殘差塊、通道提取模塊和第二卷積層；

所述密集殘差塊包括一次殘差密集連接層、二次殘差密集連接層和三次殘差密集連接層，所述每個殘差密集連接層由三個核為3*3的卷積層和一個核為1*1的卷積層組成，所述每個殘差密集連接層后均連接通道提取模塊。

4.根據權利要求3所述多通道整合網絡的多模態醫學圖像融合方法，其特征在于，所述將待融合的多模態醫學圖像輸入至多尺度多通道圖像融合網絡模型進行融合處理，輸出融合后的多模態醫學圖像這一步驟，其具體包括：

將待融合的多模態醫學圖像輸入至多尺度多通道圖像融合網絡模型；

基于多尺度多通道圖像融合網絡模型的第一卷積層、歸一化層和線性修改單元對待融合的多模態醫學圖像進行初步的特征提取處理，得到初始特征圖；

將初始特征圖分別輸入至一次殘差密集連接層、二次殘差密集連接層和三次殘差密集連接層進行特征提取處理，得到對應的特征圖；

多尺度多通道圖像融合網絡模型的通道提取模塊接收每個殘差密集連接層輸出的特征圖，對所述特征圖進行信息提取處理，得到對應的特征圖的空間域信息、通道信息和細粒度特征信息；

將特征圖的空間域信息、通道信息和細粒度特征信息進行通道合并處理，得到綜合特征圖；

基于多尺度多通道圖像融合網絡模型的第二卷積層對綜合特征圖進行融合處理，得到融合后的多模態醫學圖像。

5.根據權利要求4所述多通道整合網絡的多模態醫學圖像融合方法，其特征在于，所述將初始特征圖分別輸入至一次殘差密集連接層、二次殘差密集連接層和三次殘差密集連接層進行特征提取處理，得到對應的特征圖這一步驟，其具體包括：

將初始特征圖分別輸入至一次殘差密集連接層、二次殘差密集連接層和三次殘差密集連接層；

基于每個殘差密集連接層的三個核為3*3的卷積層，使用密集連接，分別對初始特征圖進行特征提取處理，得到第一特征提取圖、第二特征提取圖和第三特征提取圖；

基于每個殘差密集連接層的核為1*1的卷積層，將第一特征提取圖、第二特征提取圖和第三特征提取圖進行融合處理，得到融合特征圖；

將融合特征圖分別與對應的初始特征圖進行相加，輸出對應的特征圖。