[發(fā)明專利]一種視頻畫(huà)質(zhì)增強(qiáng)的方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110309945.1
• 申請(qǐng)日: 2021-03-23
• 公開(kāi)（公告）號(hào): CN113115075B
• 公開(kāi)（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 朱輝;陀健;章軍海;黃浩填;曾招華
• 申請(qǐng)（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號(hào): H04N21/2343
• 分類號(hào): H04N21/2343;H04N21/4402;G06T5/00;G06T3/40
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本說(shuō)明書(shū)提供一種視頻畫(huà)質(zhì)增強(qiáng)的方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)，該方法中，將目標(biāo)視頻幀輸入畫(huà)質(zhì)增強(qiáng)模型進(jìn)行處理，結(jié)合解碼信息和目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)快速構(gòu)建非目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)效果，使得非目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)效果具有畫(huà)質(zhì)增強(qiáng)模型處理時(shí)的等同效果，并且只需更少的處理時(shí)間，這樣大大加快了視頻的處理速度，因此能夠適用于直播視頻這類有實(shí)時(shí)處理需求的場(chǎng)景。

技術(shù)領(lǐng)域

本說(shuō)明書(shū)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種視頻畫(huà)質(zhì)增強(qiáng)的方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)。

背景技術(shù)

畫(huà)質(zhì)是指畫(huà)面質(zhì)量，圖像在壓縮過(guò)程中如果損失了圖像信息，則其畫(huà)面質(zhì)量也相應(yīng)的降低了。畫(huà)質(zhì)增強(qiáng)的基本原理是：通過(guò)對(duì)圖像進(jìn)行分析，確定圖像中的色彩信息、物體邊緣等數(shù)據(jù)，通過(guò)增強(qiáng)算法對(duì)這些數(shù)據(jù)進(jìn)行一定尺度的增強(qiáng)，包括銳化物體邊緣，提升對(duì)比度、飽和度等，使得圖像畫(huà)質(zhì)得到提升。然而目前的畫(huà)質(zhì)增強(qiáng)方法在處理視頻時(shí)，效率不足，很難適用于一些具有實(shí)時(shí)需求的場(chǎng)景。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問(wèn)題，本說(shuō)明書(shū)提供了一種視頻畫(huà)質(zhì)增強(qiáng)的方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)。

根據(jù)本說(shuō)明書(shū)實(shí)施例的第一方面，提供一種視頻畫(huà)質(zhì)增強(qiáng)的方法，包括：

從視頻的解碼數(shù)據(jù)中獲取視頻幀集合和解碼信息，所述視頻幀集合包括目標(biāo)視頻幀和至少一幀非目標(biāo)視頻幀，所述目標(biāo)視頻幀與所述非目標(biāo)視頻幀之間的時(shí)序差值小于或等于預(yù)設(shè)值；

針對(duì)所述視頻幀集合，執(zhí)行如下處理：

將目標(biāo)視頻幀輸入訓(xùn)練好的畫(huà)質(zhì)增強(qiáng)模型，利用所述畫(huà)質(zhì)增強(qiáng)模型獲取畫(huà)質(zhì)增強(qiáng)后的目標(biāo)視頻幀以及所述目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)；

基于所述解碼信息和所述目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)，預(yù)測(cè)出每個(gè)所述非目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)，并利用所述非目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)對(duì)所述非目標(biāo)視頻幀進(jìn)行畫(huà)質(zhì)增強(qiáng)處理。

在某些例子中，上述利用所述畫(huà)質(zhì)增強(qiáng)模型獲取畫(huà)質(zhì)增強(qiáng)后的目標(biāo)視頻幀以及所述目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)，包括：

獲取所述畫(huà)質(zhì)增強(qiáng)模型輸出的畫(huà)質(zhì)增強(qiáng)后的目標(biāo)視頻幀；

根據(jù)所述目標(biāo)視頻幀在畫(huà)質(zhì)增強(qiáng)前后的對(duì)比，得到目標(biāo)視頻幀的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)。

在某些例子中，上述非目標(biāo)視頻幀包括至少一個(gè)幀間塊，所述解碼信息包括幀間信息，所述幀間信息包括所述幀間塊的運(yùn)動(dòng)矢量；

所述非目標(biāo)視頻幀的幀間塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)基于以下步驟得到：

基于運(yùn)動(dòng)矢量查找所述目標(biāo)視頻幀中與所述非目標(biāo)視頻幀相匹配的幀間塊，將所述目標(biāo)視頻幀中幀間塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)作為所述非目標(biāo)視頻幀中幀間塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)。

在某些例子中，上述非目標(biāo)視頻幀還包括至少一個(gè)幀內(nèi)塊，所述解碼信息還包括幀內(nèi)信息；

所述非目標(biāo)視頻幀的幀內(nèi)塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)基于所述幀內(nèi)信息以及所述非目標(biāo)視頻幀中幀間塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)預(yù)測(cè)得到。

在某些例子中，上述幀內(nèi)信息包括解碼過(guò)程中利用所述幀內(nèi)塊的周圍圖像塊來(lái)預(yù)測(cè)所述幀內(nèi)塊的相關(guān)參數(shù)，所述相關(guān)參數(shù)包括所述周圍圖像塊的抽樣值、抽樣值的填充方向以及抽樣值的加權(quán)系數(shù)；

所述非目標(biāo)視頻幀的幀內(nèi)塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)基于以下步驟得到：

基于所述相關(guān)參數(shù)中的抽樣值以及所述非目標(biāo)視頻幀中幀間塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)，得到所述非目標(biāo)視頻幀中幀內(nèi)塊的周圍圖像塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)的抽樣值；

將所述相關(guān)參數(shù)中的抽樣值的填充方向和加權(quán)系數(shù)，作為畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)的抽樣值的填充方向和加權(quán)系數(shù)，利用所述畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)的抽樣值和加權(quán)系數(shù)進(jìn)行加權(quán)計(jì)算，并按照畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)的抽樣值的填充方向進(jìn)行填充，得到所述幀內(nèi)塊的畫(huà)質(zhì)增強(qiáng)數(shù)據(jù)。