[發(fā)明專利]一種基于擴(kuò)散模型的單幀圖像超分辨處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110474006.2
• 申請(qǐng)日: 2021-04-29
• 公開（公告）號(hào): CN113177882B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 李奇;李昊穎;常猛;王靜;陳躍庭;馮華君;徐之海
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué);北京環(huán)境特性研究所
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種基于擴(kuò)散模型的單幀圖像超分辨處理方法，其特征在于：該方法包括以下步驟：

1)建立超分辨擴(kuò)散模型的擴(kuò)散過程和條件噪聲預(yù)測(cè)器ε_θ；

2)將高低分辨圖像數(shù)據(jù)集輸入到超分辨擴(kuò)散模型的條件噪聲預(yù)測(cè)器ε_θ，其中I_H為高分辨圖像，I_L為其對(duì)應(yīng)的低分辨圖像，k表示高低分辨圖像對(duì)的序號(hào)，K為高低分辨圖像數(shù)據(jù)集P中高低分辨圖像對(duì)的總數(shù)；利用超分辨擴(kuò)散模型的擴(kuò)散過程對(duì)條件噪聲預(yù)測(cè)器ε_θ進(jìn)行訓(xùn)練，獲得預(yù)訓(xùn)練后的條件噪聲預(yù)測(cè)器ε_θ；

3)待處理的低分辨圖像輸入到超分辨擴(kuò)散模型的逆過程中，獲得殘差預(yù)測(cè)圖像

4)殘差預(yù)測(cè)圖像與經(jīng)過上采樣操作的低分辨圖像up(I_L)相加，得到預(yù)測(cè)的超分辨圖像，其中up()為上采樣操作，I_L為原始待處理的低分辨圖像；

所述的條件噪聲預(yù)測(cè)器ε_θ主要由低分編碼器和噪聲預(yù)測(cè)器組成：

(1)低分辨圖像I_L輸入到低分編碼器，經(jīng)過編碼獲得低分辨圖像信息I_e；

(2)噪聲預(yù)測(cè)器主要由一個(gè)第一卷積模塊、連續(xù)的四個(gè)收縮路徑、一個(gè)中心模塊、連續(xù)的四個(gè)擴(kuò)張路徑、一個(gè)第二卷積模塊依次連接構(gòu)成；

每個(gè)收縮路徑主要由連續(xù)的兩個(gè)殘差模塊和一個(gè)下采樣層依次連接組成；中心模塊由連續(xù)的兩個(gè)殘差模塊組成；每個(gè)擴(kuò)張路徑主要由連續(xù)的兩個(gè)殘差模塊和一個(gè)上采樣層依次連接組成，每個(gè)殘差模塊主要由連續(xù)的兩個(gè)卷積模塊組成，殘差模塊中第一個(gè)卷積模塊的輸出和當(dāng)前第t步擴(kuò)散步的時(shí)間特征矩陣t_e相加后再輸入到第二個(gè)卷積模塊中，殘差模塊的輸入經(jīng)連續(xù)兩個(gè)卷積模塊處理后的結(jié)果再與自身進(jìn)行相加后輸出作為殘差模塊的輸出；收縮路徑、擴(kuò)張路徑、中心模塊的殘差模塊中的卷積模塊以及第一卷積模塊、第二卷積模塊結(jié)構(gòu)均相同，均由一個(gè)二維卷積層和Mish激活層依次連接組成；

條件噪聲預(yù)測(cè)器ε_θ的輸入為殘差預(yù)測(cè)圖像殘差預(yù)測(cè)圖像首先進(jìn)入第一卷積模塊，第一卷積模塊的輸出和低分編碼器輸出的低分辨圖像信息I_e進(jìn)行相加后再輸入到第一個(gè)收縮路徑中，第一個(gè)收縮路徑的輸出和第三個(gè)擴(kuò)張路徑的輸出相加后再輸入到第四個(gè)擴(kuò)張路徑，第二個(gè)收縮路徑的輸出和第二個(gè)擴(kuò)張路徑的輸出相加后再輸入到第三個(gè)擴(kuò)張路徑，第三個(gè)收縮路徑的輸出和第一個(gè)擴(kuò)張路徑的輸出相加后再輸入到第二個(gè)擴(kuò)張路徑，第四個(gè)收縮路徑的輸出和中心模塊的輸出相加后再輸入到第一個(gè)擴(kuò)張路徑；條件噪聲預(yù)測(cè)器的輸出為預(yù)測(cè)的每一步擴(kuò)散步添加的噪聲

2.根據(jù)權(quán)利要求1所述的一種基于擴(kuò)散模型的單幀圖像超分辨處理方法，其特征在于：所述的超分辨擴(kuò)散模型的擴(kuò)散過程為：將經(jīng)過上采樣操作的低分辨圖像up(I_L)與高分辨圖像I_H之間的殘差圖I₀作為輸入，殘差圖I₀經(jīng)過連續(xù)依次進(jìn)行的T步擴(kuò)散步被添加高斯噪聲，T＝1,2,3…，各擴(kuò)散步添加不同的高斯噪聲，輸出含有噪聲的殘差圖I_t，t＝1,2,…,T，經(jīng)T步擴(kuò)散步后，殘差圖I₀變?yōu)樵肼晥D像I_T。