[發(fā)明專利]一種基于機(jī)器學(xué)習(xí)的超分辨率方法、介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911149461.4
• 申請(qǐng)日: 2019-11-21
• 公開（公告）號(hào): CN112825187A
• 公開（公告）日: 2021-05-21
• 發(fā)明（設(shè)計(jì)）人: 何平征;林金發(fā)
• 申請(qǐng)（專利權(quán)）人: 福州瑞芯微電子股份有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06K9/62;G06N3/04;G06N3/08;G06F17/18
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 徐秋平

本發(fā)明提供一種基于機(jī)器學(xué)習(xí)的超分辨率方法、介質(zhì)及系統(tǒng)，所述基于機(jī)器學(xué)習(xí)的超分辨率方法包括：獲取視頻圖像的內(nèi)容統(tǒng)計(jì)特性；根據(jù)所述視頻圖像的內(nèi)容統(tǒng)計(jì)特性對(duì)所述視頻圖像進(jìn)行分類，獲得至少一個(gè)分組；根據(jù)各視頻圖像所屬的分組，結(jié)合視頻圖像的噪聲統(tǒng)計(jì)特性，選擇相應(yīng)的機(jī)器學(xué)習(xí)模型進(jìn)行超分辨率重建，獲得對(duì)應(yīng)的高分辨率圖像。根據(jù)本發(fā)明所述基于機(jī)器學(xué)習(xí)的超分辨率方法，能夠?qū)嚎s噪聲去除和圖像超分辨率重建通過一步實(shí)現(xiàn)，從而提升超分辨率獲得的圖像質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像的增強(qiáng)領(lǐng)域，涉及一種超分辨率方法，特別是涉及一種基于機(jī)器學(xué)習(xí)的超分辨率方法、介質(zhì)及系統(tǒng)。

背景技術(shù)

受到傳輸帶寬的限制，常見的互聯(lián)網(wǎng)視頻一般具有較小的分辨率和較低的碼率。當(dāng)這些互聯(lián)網(wǎng)視頻顯示在大屏幕上時(shí)，對(duì)小分辨率畫面進(jìn)行普通的差值放大會(huì)導(dǎo)致邊緣鋸齒、細(xì)節(jié)模糊等問題，通常需要超分辨率來減少放大導(dǎo)致的高頻丟失。圖像超分辨率(superresolution,SR)是指由低分辨率圖像(low resolution,LR)或圖像序列恢復(fù)出高分辨率圖像(high resolution，HR)。HR意味著圖像具有高像素密度，可以提供更多的細(xì)節(jié)，這些細(xì)節(jié)往往在應(yīng)用中起到關(guān)鍵作用。通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。傳統(tǒng)的超分辨率算法通常包括基于差值和基于學(xué)習(xí)的方式，例如SRCNN(Super-Resolution Convolutional Neural Network，超分辨率卷積神經(jīng)網(wǎng)絡(luò))、DRRN(Deep Recursive Residual Network，深遞歸殘差網(wǎng)絡(luò))、SRGAN(Single Image Super-Resolution Using a Generative Adversarial Network，基于生成性對(duì)抗網(wǎng)絡(luò)的單圖像超分辨率)。

然而，低分辨率的壓縮視頻一般存在細(xì)節(jié)模糊、塊效應(yīng)、振鈴噪聲、蚊蟲噪聲等畫質(zhì)問題。如果對(duì)畫面直接進(jìn)行超分辨率和細(xì)節(jié)增強(qiáng)，在補(bǔ)充因放大導(dǎo)致丟失的高頻細(xì)節(jié)的同時(shí)，噪聲也可能被當(dāng)作細(xì)節(jié)而補(bǔ)充，致使無法通過后續(xù)的去噪聲模塊理想濾除。如果先進(jìn)行去噪則部分細(xì)節(jié)被當(dāng)作噪聲被濾除，致使后續(xù)超分辨率很難恢復(fù)更多細(xì)節(jié)。因此，無論先去噪后進(jìn)行超分辨率還是先進(jìn)行超分辨率再去噪都會(huì)導(dǎo)致超分辨率的效果不理想。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種基于機(jī)器學(xué)習(xí)的超分辨率方法、介質(zhì)及系統(tǒng)，用于解決現(xiàn)有技術(shù)中無論先去噪后進(jìn)行超分辨率還是先進(jìn)行超分辨率再去噪都會(huì)導(dǎo)致超分辨率效果較差的問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種基于機(jī)器學(xué)習(xí)的超分辨率方法，所述基于機(jī)器學(xué)習(xí)的超分辨率方法包括：獲取視頻圖像的內(nèi)容統(tǒng)計(jì)特性；根據(jù)所述視頻圖像的內(nèi)容統(tǒng)計(jì)特性對(duì)所述視頻圖像進(jìn)行分類，獲得至少一個(gè)分組；根據(jù)各視頻圖像所屬的分組，結(jié)合視頻圖像的噪聲統(tǒng)計(jì)特性選擇相應(yīng)的機(jī)器學(xué)習(xí)模型進(jìn)行超分辨率重建，獲得對(duì)應(yīng)的高分辨率圖像。

于本發(fā)明的一實(shí)施例中，根據(jù)各視頻圖像所屬的分組，結(jié)合視頻圖像的噪聲統(tǒng)計(jì)特性，選擇相應(yīng)的機(jī)器學(xué)習(xí)模型進(jìn)行超分辨率重建，獲得對(duì)應(yīng)的高分辨率圖像的一種實(shí)現(xiàn)方法包括：對(duì)所述視頻圖像進(jìn)行噪聲估計(jì)，獲取對(duì)應(yīng)的噪聲等級(jí)分布圖；將所述視頻圖像與對(duì)應(yīng)的噪聲等級(jí)分布圖進(jìn)行通道拼接，獲得對(duì)應(yīng)的高維拼接圖像；將所述高維拼接圖像作為所述相應(yīng)的機(jī)器學(xué)習(xí)模型的輸入，所述相應(yīng)的機(jī)器學(xué)習(xí)模型的輸出即為所述對(duì)應(yīng)的高分辨率圖像。

于本發(fā)明的一實(shí)施例中，各分組相應(yīng)的機(jī)器學(xué)習(xí)模型經(jīng)訓(xùn)練得來；所述機(jī)器學(xué)習(xí)模型的訓(xùn)練方法包括：獲取多組數(shù)據(jù)作為第一訓(xùn)練數(shù)據(jù)；各組數(shù)據(jù)包括屬于所述分組的帶壓縮噪聲的低分辨率圖像對(duì)應(yīng)的高維拼接圖像以及對(duì)應(yīng)的無壓縮噪聲的高分辨率圖像；利用所述第一訓(xùn)練數(shù)據(jù)對(duì)一機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，獲得所述分組相應(yīng)的機(jī)器學(xué)習(xí)模型。