[發(fā)明專利]一種基于深度反饋注意力網(wǎng)絡(luò)系統(tǒng)的圖像超分辨率方法在審
| 申請?zhí)枺?/td> | 202010765385.6 | 申請日： | 2020-07-31 |
| 公開（公告）號： | CN111986085A | 公開（公告）日： | 2020-11-24 |
| 發(fā)明（設(shè)計）人： | 施舉鵬;李靜;崔員寧;祝蓓 | 申請（專利權(quán)）人： | 南京航空航天大學(xué) |
| 主分類號： | G06T3/40 | 分類號： | G06T3/40;G06N3/04;G06N3/08 |
| 代理公司： | 南京鐘山專利代理有限公司 32252 | 代理人： | 戴朝榮 |
| 地址： | 210016 江*** | 國省代碼： | 江蘇;32 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 深度 反饋 注意力 網(wǎng)絡(luò) 系統(tǒng) 圖像 分辨率 方法 | ||
1.一種深度反饋注意力網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述深度反饋注意力網(wǎng)絡(luò)系統(tǒng)包括輸入模塊、特征提取模塊、反饋模塊、重構(gòu)模塊及輸出模塊，
特征提取模塊包括卷積層和反卷積層，用于提取低分辨率圖像的特征；
重構(gòu)模塊包括反卷積和卷積層，用于對輸出的特征進行上采樣，生成最終的SR殘差圖像；
反饋模塊包括特征映射模塊與注意力模塊，其中特征映射模塊包括多個卷積層與反卷積層組成的特征映射組，用于對輸入低分辨率圖像的特征進行映射學(xué)習(xí)，從而得到重構(gòu)特征，注意力模塊包括通道注意力門，用于對重構(gòu)特征進行特征過濾。
2.一種基于深度反饋注意力網(wǎng)絡(luò)系統(tǒng)的圖像超分辨率方法，其特征在于，方法步驟如下：
S1、向網(wǎng)絡(luò)中輸入低分辨率圖像LR，高分辨率參照圖像H，訓(xùn)練次數(shù)e及反饋網(wǎng)絡(luò)深度n；
S2、初始化網(wǎng)絡(luò)參數(shù)；
S3、提取低分辨率圖像LR的特征作為輸入特征F；
S4、將輸入特征F輸入到網(wǎng)絡(luò)中，基于特征映射模塊與注意力模塊操作得到重構(gòu)特征S_i；
S5、將S_i與輸入特征F合并后作為新的輸入特征重新輸入到網(wǎng)絡(luò)中；
S6、迭代步驟S4-S5，共重復(fù)n次，得到重構(gòu)特征S_n，n為反饋網(wǎng)絡(luò)深度；
S7、利用輸出的重構(gòu)特征S_n，基于上采樣得到輸出高分辨率圖像SR；
S8、計算高分辨率參考圖像H與低分辨率圖像LR之間的誤差，根據(jù)誤差更新網(wǎng)絡(luò)參數(shù)；
S9、將更新的網(wǎng)絡(luò)參數(shù)帶入步驟S2中，重復(fù)步驟S1-S7，重復(fù)訓(xùn)練e次，最終得到訓(xùn)練好的網(wǎng)絡(luò)參數(shù)；
S10、將訓(xùn)練好的網(wǎng)絡(luò)參數(shù)與低分辨率圖像LR、反饋網(wǎng)絡(luò)深度n共同輸入到網(wǎng)絡(luò)中，實施步驟S2-S7，得到輸出高分辨率圖像。
3.如權(quán)利要求1所述的圖像超分辨率方法，其特征在于，方法中參數(shù)進行循環(huán)迭代，第一次將輸入特征F輸入到網(wǎng)絡(luò)中，基于特征映射模塊與注意力模塊操作得到重構(gòu)特征S_1；將S_1與輸入特征F合并后重新輸入到網(wǎng)絡(luò)中，基于特征映射模塊與注意力模塊操作得到重構(gòu)特征S_2；再將S_2與輸入特征F合并后重新輸入到網(wǎng)絡(luò)中，得到新的重構(gòu)特征，重復(fù)n次，最終得到重構(gòu)特征S_n。
4.如權(quán)利要求1所述的圖像超分辨率方法，其特征在于，步驟S4中，經(jīng)過特征提取后，將提取的特征輸入到網(wǎng)絡(luò)系統(tǒng)的注意力模塊中，表示為：
其中fFE表示包含了兩個特征提取層Conv(3，n)，Conv(3，n)表示具有n個大小為3*3的卷積核的卷積層，ILR表示輸入的低分辨率圖像LR；表示從LR圖像中提取的特征。
5.如權(quán)利要求1所述的圖像超分辨率方法，其特征在于，特征映射過程不斷迭代，第t次迭代表示為：
其中fDFAN表示模型中間的特征映射模塊，表示第t-1次迭代的重構(gòu)特征輸出，表示第t次迭代的特征輸入，表示反饋模塊第t次迭代的特征輸出的重構(gòu)特征。
6.如權(quán)利要求1所述的圖像超分辨率方法，其特征在于，步驟S7中，采用反卷積層Deconv(k，n)對輸出的重構(gòu)特征進行上采樣，然后再用卷積層Conv(3，c)生成最終的SR殘差圖像；SR殘差圖像和原圖像的上采樣共同生成最終的高分辨率圖像SR。
7.如權(quán)利要求1所述的圖像超分辨率方法，其特征在于，步驟S7中，輸出特征通過注意力單元進行特征過濾，包含三個過程：擠壓、激勵以及放縮。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于南京航空航天大學(xué)，未經(jīng)南京航空航天大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010765385.6/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
