[發(fā)明專利]基于滑窗權(quán)重回歸的視頻自適應(yīng)銳化的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111657429.4
• 申請日: 2021-12-30
• 公開（公告）號: CN114363477A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 唐杰;朱運平;張聰聰;李慶瑜;戴立言
• 申請（專利權(quán)）人: 上海網(wǎng)達(dá)軟件股份有限公司
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N5/367;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

本發(fā)明公開了一種基于滑窗權(quán)重回歸的視頻自適應(yīng)銳化的方法及系統(tǒng)，通過構(gòu)建基于滑窗權(quán)重回歸的神經(jīng)網(wǎng)絡(luò)模型，以神經(jīng)網(wǎng)絡(luò)模型回歸每幀圖像中每個像素位置及其8鄰域的權(quán)重；采用get_weights函數(shù)獲取神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練權(quán)重，得到維度為[1,9,height,width]的特征，使圖像的每個像素位置輸出9個權(quán)重；將當(dāng)前像素及其8鄰域，根據(jù)相應(yīng)的9個權(quán)重進(jìn)行加權(quán)，得到銳化后的圖像。不需要設(shè)置參數(shù)就能夠自適應(yīng)處理多種視頻場景，能夠達(dá)到實時處理的要求，更能突出圖像的邊緣和細(xì)節(jié)。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻轉(zhuǎn)換的技術(shù)領(lǐng)域，尤其涉及一種基于滑窗權(quán)重回歸的視頻自適應(yīng)銳化的方法及系統(tǒng)。

背景技術(shù)

對于視頻銳化，有Contrast Adaptive Sharpening和unsharp兩個速度較快的圖像銳化的算法。

其中，Contrast Adaptive Sharpening算法利用每個像素的4鄰域和8領(lǐng)域，計算權(quán)重并得到當(dāng)前像素的值，最終達(dá)到圖像銳化的目的。

如圖1所示，e表示滑窗時的當(dāng)前像素，b,h,d,f是當(dāng)前像素的4鄰域；a,b,c,d,f,g,h,i是當(dāng)前像素的8鄰域，當(dāng)前像素Contrast Adaptive Sharpening算法的銳化結(jié)果

其中，

w＝amp/strength

strength＝-[16+(16-4)·s]

這里的s是需要人為設(shè)置的參數(shù)。

而unsharp是通過當(dāng)前圖像減去當(dāng)前圖像的高斯模糊圖像得到圖像的梯度grad，再計算src和梯度grad的加權(quán)，最終實現(xiàn)了圖像邊緣和細(xì)節(jié)的提升。

dst＝src+[src-gaussianblur(src)*m]

這里的m是需要人為設(shè)置的參數(shù)，gaussianblur表示圖像高斯模糊操作，src是輸入的視頻幀，dst是unsharp銳化輸出的視頻幀。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于滑窗權(quán)重回歸的視頻自適應(yīng)銳化的方法及系統(tǒng)，通過深度學(xué)習(xí)算法回歸每個像素位置8鄰域的權(quán)重，通過8鄰域的加權(quán)，實現(xiàn)圖像的銳化過程，比Contrast Adaptive Sharpening算法更具有魯棒性。

為解決上述問題，本發(fā)明的技術(shù)方案為：

一種基于滑窗權(quán)重回歸的視頻自適應(yīng)銳化的方法，包括：

獲取待處理視頻，將視頻解碼，得到若干一幀圖像；

構(gòu)建基于滑窗權(quán)重回歸的神經(jīng)網(wǎng)絡(luò)模型，通過神經(jīng)網(wǎng)絡(luò)模型回歸每幀圖像中每個像素位置及其8鄰域的權(quán)重；通過get_weights函數(shù)獲取神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練權(quán)重，得到維度為[1,9,height,width]的特征，使圖像的每個像素位置輸出9個權(quán)重；其中，height為圖像的高度，width為圖像的寬度；

將當(dāng)前像素及其8鄰域，根據(jù)相應(yīng)的9個權(quán)重進(jìn)行加權(quán)，得到銳化后的圖像；

將銳化后的圖像進(jìn)行編碼，得到銳化處理后的視頻。

根據(jù)本發(fā)明一實施例，所述通過神經(jīng)網(wǎng)絡(luò)模型回歸每幀圖像中每個像素位置及其8鄰域的權(quán)重進(jìn)一步包括：

采用Alex Net神經(jīng)網(wǎng)絡(luò)，根據(jù)公式：

w＝(A·gridx+B·gridy+T)³

回歸10個參數(shù)，其中，