[發(fā)明專利]基于風(fēng)格遷移的核磁圖像超分辨率方法、裝置及計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211353715.6
• 申請(qǐng)日: 2022-11-01
• 公開（公告）號(hào): CN115936983A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 叢山;楊宇尊;姚曉輝;羅昊燃;魏怡明;劉宏偉
• 申請(qǐng)（專利權(quán)）人: 青島哈爾濱工程大學(xué)創(chuàng)新發(fā)展中心
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/045;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 張俊范

本發(fā)明公開了一種基于風(fēng)格遷移的核磁圖像超分辨率方法，包括以下步驟：由非配對(duì)的高清圖像和低清圖像數(shù)據(jù)集訓(xùn)練改進(jìn)的Transformer模型；將待配對(duì)的高清圖像輸入改進(jìn)的Transformer模型輸出對(duì)應(yīng)的配對(duì)低清圖像并與待配對(duì)的高清圖像與所述配對(duì)低清圖像組對(duì)構(gòu)成對(duì)抗生成網(wǎng)絡(luò)訓(xùn)練集，再由此訓(xùn)練集訓(xùn)練對(duì)抗生成網(wǎng)絡(luò)；最后將核磁圖像輸入訓(xùn)練后的對(duì)抗生成網(wǎng)絡(luò)得到高清核磁圖像；其中改進(jìn)的Transformer模型包括兩個(gè)編碼器、解碼器和卷積神經(jīng)網(wǎng)絡(luò)上采樣器，經(jīng)過位置編碼的高清圖像分別輸入兩個(gè)編碼器得到內(nèi)容序列和風(fēng)格序列再共同輸入解碼器解碼后進(jìn)行放大輸出。本發(fā)明克服了傳統(tǒng)線性下采樣沒有考慮圖片域差導(dǎo)致與真實(shí)低清圖像風(fēng)格不一致的問題，可獲得更加真實(shí)、更小色差的高清圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及一種超分辨率方法，特別是涉及一種基于風(fēng)格遷移的核磁圖像超分辨率方法、裝置及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

超分辨率(super?resolution)技術(shù)旨在從模糊的低分辨率圖像中重建出其對(duì)應(yīng)的清晰的高分辨率圖像。基于深度學(xué)習(xí)的超分辨率方法由于存在以下缺點(diǎn)而缺乏實(shí)際落地應(yīng)用能力：

1、泛化性能差，不能應(yīng)用于真實(shí)的超分場(chǎng)合：現(xiàn)有主流的超分辨率方法有基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率，如SRCNN等，還有基于對(duì)抗生成網(wǎng)絡(luò)技術(shù)的圖像超分辨率方法，如ESRGAN等。這些方法通過將高清的圖像進(jìn)行線性下采樣，或者添加高斯噪聲，以一種單一固定的下采樣方法生成模糊的低分辨率圖像，以此來構(gòu)造成對(duì)的數(shù)據(jù)集。雖然運(yùn)用了深度學(xué)習(xí)模型，在各自構(gòu)造的數(shù)據(jù)集上取得了較好的效果，但是通過這種方法訓(xùn)練出來的模型，用于現(xiàn)實(shí)世界中的其他低清圖像時(shí)，一般會(huì)產(chǎn)生較明顯的偽影，導(dǎo)致超分辨率效果不佳。

2、需要耗費(fèi)大量人力物力去構(gòu)造真實(shí)的成對(duì)數(shù)據(jù)集：許多研究試圖用真實(shí)的低清圖像和真實(shí)的高清圖像組成成對(duì)的數(shù)據(jù)集進(jìn)行訓(xùn)練以克服上述偽影問題。但是現(xiàn)實(shí)世界中，極少能出現(xiàn)對(duì)一物體的同一角度、不同清晰度的成對(duì)圖像，采集數(shù)據(jù)集變得困難。現(xiàn)有的一些方法嘗試使用相機(jī)變焦等方法，人為對(duì)成對(duì)的數(shù)據(jù)集進(jìn)行采集，但是這個(gè)方法需要耗費(fèi)大量的人力和物力。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了一種基于風(fēng)格遷移的核磁圖像超分辨率方法，解決采用下采樣構(gòu)造數(shù)據(jù)集訓(xùn)練的深度學(xué)習(xí)模型泛化性不足，無法應(yīng)用于真實(shí)世界而人為構(gòu)造數(shù)據(jù)集的方法又耗時(shí)耗力的問題。

本發(fā)明技術(shù)方案如下：一種基于風(fēng)格遷移的核磁圖像超分辨率方法，包括以下步驟：

步驟1、由非配對(duì)的高清圖像和低清圖像數(shù)據(jù)集訓(xùn)練改進(jìn)的Transformer模型；

步驟2、將待配對(duì)的高清圖像輸入所述步驟1訓(xùn)練后的改進(jìn)的Transformer模型輸出對(duì)應(yīng)的配對(duì)低清圖像，由所述待配對(duì)的高清圖像與所述配對(duì)低清圖像組對(duì)構(gòu)成對(duì)抗生成網(wǎng)絡(luò)訓(xùn)練集；

步驟3、由所述步驟2得到的對(duì)抗生成網(wǎng)絡(luò)訓(xùn)練集訓(xùn)練對(duì)抗生成網(wǎng)絡(luò)；

步驟4、將核磁圖像輸入所述步驟3訓(xùn)練后的對(duì)抗生成網(wǎng)絡(luò)得到高清核磁圖像；

所述改進(jìn)的Transformer模型包括兩個(gè)線性映射層、兩個(gè)Transformer編碼器、Transformer解碼器和卷積神經(jīng)網(wǎng)絡(luò)上采樣器，其中兩個(gè)Transformer編碼器的每一層由一個(gè)多頭自注意模塊和一個(gè)前饋網(wǎng)絡(luò)組成，原始高清圖像通過剪裁和一個(gè)線性映射層得到內(nèi)容圖像塊序列，加上經(jīng)過具有內(nèi)容感知的位置編碼的高清圖像共同輸入一個(gè)Transformer編碼器得到內(nèi)容序列，低清圖像通過剪裁和另一個(gè)線性映射層得到風(fēng)格圖像塊序列，輸入另一個(gè)Transformer編碼器得到風(fēng)格序列；Transformer解碼器的每一層由兩個(gè)多頭自注意模塊和一個(gè)前饋網(wǎng)絡(luò)組成，所述內(nèi)容序列和風(fēng)格序列共同輸入所述Transformer解碼器解碼后由所述卷積神經(jīng)網(wǎng)絡(luò)上采樣器進(jìn)行放大輸出。