[發(fā)明專利]模型訓(xùn)練方法、醫(yī)學(xué)圖像融合方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210613882.3
• 申請(qǐng)日: 2022-05-31
• 公開（公告）號(hào): CN114897756A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 蘇進(jìn);李學(xué)俊;周笛;王華彬;張弓
• 申請(qǐng)（專利權(quán)）人: 中加健康工程研究院（合肥）有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T7/90;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張?bào)w南

1.一種醫(yī)學(xué)圖像融合模型訓(xùn)練方法，其中，所述醫(yī)學(xué)圖像融合模型包括編碼器、融合層和解碼器，所述方法包括：

將N個(gè)訓(xùn)練圖像分別輸入至所述編碼器中的M個(gè)第一卷積層，得到每個(gè)訓(xùn)練圖像的M個(gè)第一特征圖，其中，所述N個(gè)訓(xùn)練圖像包括N個(gè)單模態(tài)醫(yī)學(xué)圖像，所述M個(gè)第一卷積層中任兩個(gè)卷積層之間相并行，且具有不同大小的卷積核，N、M分別為大于或等于2的整數(shù)；

對(duì)所述每個(gè)訓(xùn)練圖像的M個(gè)第一特征圖進(jìn)行拼接，得到所述每個(gè)訓(xùn)練圖像的第二特征圖；

將所述編碼器的輸出作為所述融合層的輸入，得到所述N個(gè)訓(xùn)練圖像的融合特征圖，其中，所述編碼器的輸出根據(jù)所述每個(gè)訓(xùn)練圖像的第二特征圖獲得；

將所述融合特征圖輸入至所述解碼器，得到訓(xùn)練融合圖像；

利用融合圖像和N個(gè)訓(xùn)練圖像之間的差距程度訓(xùn)練醫(yī)學(xué)圖像融合模型，其中，所述差距程度利用損失函數(shù)計(jì)算獲得。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述編碼器還包括密集塊，所述密集塊包括采用密集連接的S個(gè)卷積層，S為大于或等于2的整數(shù)，在將所述編碼器的輸出作為所述融合層的輸入之前，所述方法還包括：

將所述每個(gè)訓(xùn)練圖像的第二特征圖輸入至所述密集塊，得到所述編碼器的輸出。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述編碼器的輸出包括所述N個(gè)訓(xùn)練圖像的N個(gè)第二特征圖，所述融合層根據(jù)注意力機(jī)制得到，所述將所述編碼器的輸出作為所述融合層的輸入，得到所述N個(gè)訓(xùn)練圖像的融合特征圖包括：

根據(jù)所述注意力機(jī)制處理所述N個(gè)第二特征圖，得到N個(gè)第三特征圖；

根據(jù)所述N個(gè)第三特征圖，得到所述融合特征圖。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述注意力機(jī)制包括通道注意力機(jī)制和空間注意力機(jī)制，所述根據(jù)所述注意力機(jī)制處理所述N個(gè)第二特征圖，得到N個(gè)第三特征圖包括：對(duì)于每個(gè)第二特征圖執(zhí)行以下操作，

根據(jù)所述通道注意力機(jī)制處理所述每個(gè)第二特征圖，得到第四特征圖；

根據(jù)所述空間注意力機(jī)制處理所述每個(gè)第二特征圖和對(duì)應(yīng)的第四特征圖，得到第五特征圖；

根據(jù)所述每個(gè)第二特征圖和對(duì)應(yīng)的第五特征圖，得到所述每個(gè)第二特征圖對(duì)應(yīng)的第三特征圖。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述根據(jù)所述每個(gè)第二特征圖和對(duì)應(yīng)的第五特征圖，得到所述每個(gè)第二特征圖對(duì)應(yīng)的第三特征圖包括：

根據(jù)所述每個(gè)第二特征圖和對(duì)應(yīng)的第五特征圖，得到第六特征圖；

將所述每個(gè)第二特征圖和對(duì)應(yīng)的第六特征圖相加，得到所述每個(gè)第二特征圖對(duì)應(yīng)的第三特征圖。

6.根據(jù)權(quán)利要求1所述的方法，其中，還包括利用以下至少一個(gè)損失函數(shù)獲得所述對(duì)比損失：

利用第一損失函數(shù)獲得所述訓(xùn)練融合圖像和所述N個(gè)訓(xùn)練圖像之間的強(qiáng)度損失；

利用第二損失函數(shù)獲得所述訓(xùn)練融合圖像和所述N個(gè)訓(xùn)練圖像之間的梯度損失；

利用第三損失函數(shù)獲得所述訓(xùn)練融合圖像和所述N個(gè)訓(xùn)練圖像之間的相似度損失。

7.根據(jù)權(quán)利要求1～6中任一項(xiàng)所述的方法，其中，所述N個(gè)訓(xùn)練圖像包括第一訓(xùn)練圖像和第二訓(xùn)練圖像，所述編碼器包括第一編碼器和第二編碼器，所述將N個(gè)訓(xùn)練圖像分別輸入至所述編碼器中的M個(gè)卷積層，得到每個(gè)訓(xùn)練圖像的M個(gè)第一特征圖包括：

將所述第一訓(xùn)練圖像輸入至所述第一編碼器中的M個(gè)卷積層，得到所述第一訓(xùn)練圖像的M個(gè)第一特征圖，其中，所述第一訓(xùn)練圖像為結(jié)構(gòu)圖像；

將所述第二訓(xùn)練圖像輸入至所述第二編碼器中的M個(gè)卷積層，得到所述第二訓(xùn)練圖像的M個(gè)第一特征圖，其中，所述第二訓(xùn)練圖像為功能圖像。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述第二訓(xùn)練圖像為偽彩色圖像，在將所述第二訓(xùn)練圖像輸入至所述第二編碼器中的M個(gè)卷積層之前，還包括：

將所述第二訓(xùn)練圖像由RGB色彩空間轉(zhuǎn)換至YUV色彩空間；

其中，所述將所述第二訓(xùn)練圖像輸入至所述第二編碼器中的M個(gè)卷積層包括：

將所述第二訓(xùn)練圖像的Y通道亮度圖像輸入至所述第二編碼器中的M個(gè)卷積層。