[發明專利]多通道整合網絡的多模態醫學圖像融合方法及系統

在審

• 申請號: 202310359312.0
• 申請日: 2023-04-06
• 公開（公告）號: CN116433546A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 李小松;黃敬學;于昕梅;譚海曙;程曉琦;王曉磐
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/90;G06N3/0464
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 馮煒國

本發明公開了多通道整合網絡的多模態醫學圖像融合方法及系統，該方法包括：獲取待融合的多模態醫學圖像；引入密集殘差塊，構建多尺度多通道圖像融合網絡模型；將待融合的多模態醫學圖像輸入至多尺度多通道圖像融合網絡模型進行融合處理，輸出融合后的多模態醫學圖像。該系統包括：獲取模塊、構建模塊和融合模塊。通過使用本發明，通過將原始多模態醫學圖像中的不同和互補信息融合到一個圖像中，實現更好的圖像融合結果。本發明作為多通道整合網絡的多模態醫學圖像融合方法及系統，可廣泛應用于圖像處理技術領域。

技術領域

本發明涉及圖像處理技術領域，尤其涉及多通道整合網絡的多模態醫學圖像融合方法及系統。

背景技術

由于成像機理的不同，單一類型的醫學影像往往很難提供為醫生提供全面的病情診斷信息；例如，核磁共振MRI是一種能夠提供軟組織信息和高分辨率的解剖圖像，但是無法檢測人體代謝活動的活動信息；正電子發射斷層掃描圖像(PET)擁有豐富的關于腫瘤功能和代謝的信息和單光子發射計算機斷層掃描(SPECT)圖像可以反映組織和器官血流。但是它們倆分辨率很低，正如上面所提到的問題，多模態醫學圖像融合技術就能解決。它能融合解剖圖像和功能圖像，達到既能擁有解剖圖像的位置信息，又能保留功能圖像的分子活動信息的目的；綜上所述，醫學圖像融合可以提供更全面、更可靠和更好的病變描述，從而幫助生物醫學研究和臨床診斷，如手術導航，放療規劃和未來健康預測等；

多模態醫學圖像融合通常在像素級展開，大致分為傳統方法和深度學習方法；盡管傳統方法已經取得了很好的融合結果，但是由于傳統方法的像素活躍水平測量和權重分配策略是分別單獨設計的，與融合方法沒有強關聯，大大限制算法性能；因此傳統方法去設計一個理想的能夠綜合考慮所有關鍵問題的像素活躍水平測量或權重分配策略是困難的；而由于卷積神經網絡具備優秀的特征提取和數據表示能力，越來越多的基于深度學習的融合方法被提出，但是現有的神經網絡框架仍存在一些問題，例如通常將源圖像饋送到單個網絡中，沒有考慮到尺度間的信息，這樣會導致一些重要信息的丟失；沒有專門設計的策略來保存源圖像中的細粒度特征，這會導致細節丟失和低對比度；因使用全局平均池化的通道注意力機制而導致信息丟失。

發明內容

為了解決上述技術問題，本發明的目的是提供多通道整合網絡的多模態醫學圖像融合方法及系統，通過將原始多模態醫學圖像中的不同和互補信息融合到一個圖像中，實現更好的圖像融合結果。

本發明所采用的第一技術方案是：多通道整合網絡的多模態醫學圖像融合方法，包括以下步驟：

獲取待融合的多模態醫學圖像；

引入密集殘差塊，構建多尺度多通道圖像融合網絡模型；

將待融合的多模態醫學圖像輸入至多尺度多通道圖像融合網絡模型進行融合處理，輸出融合后的多模態醫學圖像。

進一步，所述獲取待融合的多模態醫學圖像這一步驟，其具體包括：

獲取具有RGB顏色空間的多模態醫學圖像；

對具有RGB顏色空間的多模態醫學圖像進行顏色空間轉換處理，得到具有YCrCb顏色空間的多模態醫學圖像，所述YCrCb顏色空間的多模態醫學圖像包括Y通道、Cr通道和Cb通道；

將YCrCb顏色空間的多模態醫學圖像的Y通道圖像與RGB顏色空間的多模態醫學圖像進行合并，得到待融合的多模態醫學圖像。

進一步，所述引入密集殘差塊，構建多尺度多通道圖像融合網絡模型這一步驟，其具體包括：

構建多尺度多通道圖像融合網絡模型，所述多尺度多通道圖像融合網絡模型包括第一卷積層、歸一化層、線性修改單元、密集殘差塊、通道提取模塊和第二卷積層；