[發(fā)明專利]融合弱紋理信息的子母神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 202010222700.0
• 申請日: 2020-03-26
• 公開（公告）號(hào): CN111507899B
• 公開（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 傅博;王麗妍;杜飛飛;張?zhí)靿?/a>;尹月
• 申請（專利權(quán)）人: 遼寧師范大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 大連非凡專利事務(wù)所 21220
• 代理人: 閃紅霞

本發(fā)明公開一種融合弱紋理信息的子母神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建方法，首先為了彌補(bǔ)普通超分辨率重建后的圖像與高分辨率清晰圖像之間的差異，使兩者像素值相減，得到網(wǎng)絡(luò)訓(xùn)練不到的弱紋理信息，并以能夠得到弱紋理信息為目標(biāo)，采用Sobel算子增強(qiáng)這些弱紋理信息，進(jìn)一步訓(xùn)練一種弱紋理預(yù)測模型；得到單通道的弱紋理圖像后，與低分辨率圖像合并維度，形成多維低分辨率圖像，從而更好地完成融合弱紋理信息的超分模型的訓(xùn)練，得到效果更好的高分辨率圖像，對(duì)于一些具有弱紋理信息的圖片，可以保證其細(xì)小紋理的清晰度，達(dá)到更好的超分辨率重建的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像超分辨率重建方法，尤其是一種融合弱紋理信息的子母神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建方法。

背景技術(shù)

近年來，隨著攝像機(jī)、相機(jī)、手機(jī)攝像等各類視覺采集設(shè)備的普及，各種類型圖像進(jìn)入到人們的生產(chǎn)與生活中。然后，由于采集環(huán)境、傳輸帶寬等限制，采集到的部分圖像并不足夠清晰，給人們的觀賞以及視覺分析任務(wù)帶來了不便。為此，研究人們提出了兩大類解決方案，一類是提高攝像頭的清晰度、設(shè)備的存儲(chǔ)空間及帶寬等硬件環(huán)境，但是需要時(shí)間與大量的資金；另一種是利用超分辨率重建方法，在現(xiàn)有的低質(zhì)量圖像上進(jìn)行計(jì)算，模擬出高質(zhì)量的圖像。因無需更新現(xiàn)有硬件設(shè)備，且除了軍事、醫(yī)療診斷等特定領(lǐng)域外，亦能夠接受模擬的清晰，也能夠應(yīng)用于視覺分析任務(wù)當(dāng)中，性價(jià)比較高。

隨著深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域的不斷發(fā)展，深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)在圖像超分辨率重建任務(wù)上發(fā)揮了重要的作用。基于深度學(xué)習(xí)的超分辨率重建方法是采用端到端的神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成的，在進(jìn)行超分辨率重建上對(duì)比傳統(tǒng)算法有了很大的提高，但是網(wǎng)絡(luò)學(xué)習(xí)的能力有限，無法恢復(fù)圖像的所有細(xì)節(jié)，尤其是恢復(fù)弱紋理信息的能力尚有待提高。

發(fā)明內(nèi)容

本發(fā)明是為了解決現(xiàn)有技術(shù)所存在的上述技術(shù)問題，提供一種融合弱紋理信息的子母神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建方法。

本發(fā)明的技術(shù)解決方案是：一種融合弱紋理信息的子母神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建方法，按照如下步驟進(jìn)行：

01部分，使用DIV2K數(shù)據(jù)集900張自然圖像，訓(xùn)練RCAN網(wǎng)絡(luò)，得到弱紋理信息數(shù)據(jù)集，具體步驟如下：

步驟?C011：將DIV2K數(shù)據(jù)集900張圖像裁剪為縮小2倍的低分辨率數(shù)據(jù)集，記為LR_x2；所述DIV2K數(shù)據(jù)集記為HR；

步驟?C012：將LR_x2和HR中對(duì)應(yīng)的600對(duì)自然圖像作為訓(xùn)練集，300對(duì)自然圖像作為驗(yàn)證集，訓(xùn)練RCAN網(wǎng)絡(luò)，所述RCAN網(wǎng)絡(luò)結(jié)構(gòu)中采用了2個(gè)殘差組，2個(gè)殘差塊，經(jīng)過200次迭代更新后得到模型RCAN_model.pt文件，保存驗(yàn)證集的300張超分辨率重建之后的圖像，記為SR_x2；

步驟C013：將HR和SR_x2中相對(duì)應(yīng)的300張圖像像素值對(duì)應(yīng)相減，得到圖像之間的差分圖，記作Diff_x2數(shù)據(jù)集，再將Diff_x2數(shù)據(jù)集通過Sobel算子增強(qiáng)邊緣，得到單通道的弱紋理信息圖，記為Diff_edge_x2數(shù)據(jù)集；將SR_x2數(shù)據(jù)集通過Sobel算子增強(qiáng)邊緣，得到單通道的邊緣圖記為SR_edge_x2數(shù)據(jù)集；

02部分，訓(xùn)練子網(wǎng)絡(luò)-弱紋理預(yù)測模型，為母網(wǎng)絡(luò)-融合弱紋理信息的超分模型提供數(shù)據(jù)，具體步驟如下：

步驟C021：將SR_edge_x2數(shù)據(jù)集中的300張邊緣圖像切塊并輸進(jìn)子網(wǎng)絡(luò)，塊的大小為48*48像素，所切的塊記為SRx2_edge_P_i，；

步驟C022：開始訓(xùn)練，M=16000對(duì)應(yīng)的線性關(guān)系模型，記為SubNet?Model，約定變量epoch_edge為子網(wǎng)絡(luò)循環(huán)訓(xùn)練的次數(shù)，初始為0；