[發(fā)明專利]一種視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011307251.6
• 申請(qǐng)日: 2020-11-19
• 公開（公告）號(hào): CN112601095B
• 公開（公告）日: 2023-01-10
• 發(fā)明（設(shè)計(jì)）人: 樊碩
• 申請(qǐng)（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號(hào): H04N19/80
• 分類號(hào): H04N19/80;H04N19/567;H04N19/182;H04N19/172;H04N19/186;H04N19/51;G06T3/00;G06T3/40;G06T7/262;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京萬思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 姜楠楠

本申請(qǐng)?zhí)峁┝艘环N視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建方法及系統(tǒng)，在本申請(qǐng)?zhí)峁┑姆椒ㄖ校炔杉喾N不同類型的原始視頻數(shù)據(jù)，獲取其中的圖像幀序列生成原始圖像集；再對(duì)原始圖像集進(jìn)行預(yù)處理操作，創(chuàng)建訓(xùn)練圖像集；然后構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型，將訓(xùn)練圖像集作為輸入數(shù)據(jù)，并將原始圖像集作為對(duì)應(yīng)的真值進(jìn)行訓(xùn)練，得到適用于視頻亮度和色度分?jǐn)?shù)插值的深度卷積神經(jīng)網(wǎng)絡(luò)模型。基于本申請(qǐng)?zhí)峁┑囊环N視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建方法及系統(tǒng)，在傳統(tǒng)的超分辨率卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，將基于CNN的亮度以及色度分?jǐn)?shù)插值，能夠有效減少深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練消耗時(shí)間，從而提升視頻編碼效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及深度學(xué)習(xí)領(lǐng)域，特別是涉及一種視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建方法及系統(tǒng)。

背景技術(shù)

近年來，基于深度學(xué)習(xí)的方法已被廣泛使用，并在圖像和視頻處理中獲得了顯著的效果。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，簡(jiǎn)稱CNN)是深度學(xué)習(xí)中最具代表性的模型，它很好地改善了傳統(tǒng)方法在高級(jí)計(jì)算機(jī)視覺中的性能，大多是超分辨率的。

盡管CNN在改善超分辨率方面很強(qiáng)大，但由于兩個(gè)主要問題，它們不能直接用于視頻編碼中的分?jǐn)?shù)插值。首先，基于CNN的超分辨率可能會(huì)在卷積后更改整數(shù)像素。其次，視頻編碼中超分辨率和分?jǐn)?shù)插值的訓(xùn)練集是不同的。前者旨在通過“增強(qiáng)”低分辨率圖像的質(zhì)量來恢復(fù)高分辨率圖像，而后者則專注于產(chǎn)生接近于要從參考幀進(jìn)行編碼的當(dāng)前塊的分?jǐn)?shù)樣本。因此，目前的技術(shù)沒有真實(shí)的真值可以參考，導(dǎo)致訓(xùn)練不能正常進(jìn)行。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建方法，包括：

采集多種不同類型的原始視頻數(shù)據(jù)，獲取所述原始視頻數(shù)據(jù)中的圖像幀序列，基于所述圖像幀序列生成原始圖像集；

對(duì)所述原始圖像集進(jìn)行預(yù)處理操作，創(chuàng)建訓(xùn)練圖像集；

構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型；

將所述訓(xùn)練圖像集作為所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)，并將所述原始圖像集作為對(duì)應(yīng)的真值對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到適用于視頻亮度和色度分?jǐn)?shù)插值的深度卷積神經(jīng)網(wǎng)絡(luò)模型。

可選地，所述對(duì)所述原始圖像集進(jìn)行預(yù)處理操作，創(chuàng)建訓(xùn)練圖像集，包括：

對(duì)所述原始圖像集中的整數(shù)像素位置圖像進(jìn)行編碼，學(xué)習(xí)重建整數(shù)位置視頻和分?jǐn)?shù)位置視頻之間的映射，以基于整數(shù)像素位置圖像分別生成半像素圖像集和四分之一像素圖像集；

基于所述半像素圖像集和四分之一像素圖像集，創(chuàng)建訓(xùn)練圖像集。

可選地，所述構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型包括：

構(gòu)建用于對(duì)所述訓(xùn)練圖像集中的圖像幀進(jìn)行亮度分量插值的第一卷積神經(jīng)網(wǎng)絡(luò)和用于對(duì)所述訓(xùn)練圖像集中的圖像幀進(jìn)行色度分量插值的第二卷積神經(jīng)網(wǎng)絡(luò)；其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)和所述第二卷積神經(jīng)網(wǎng)絡(luò)中均具有自定義的上下文模型；

基于所述第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)組合形成深度卷積神經(jīng)網(wǎng)絡(luò)模型。

可選地，所述將所述訓(xùn)練圖像集作為所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)，并將所述原始圖像集作為對(duì)應(yīng)的真值對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

將所述訓(xùn)練圖像集輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)模型；

分別通過所述第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)結(jié)合離散余弦變換的插值濾波器對(duì)所述訓(xùn)練圖像集中各圖像幀進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，基于率失真值成本選擇分?jǐn)?shù)像素插值方法進(jìn)行亮度分量和色度分量的插值。

可選地，所述分?jǐn)?shù)像素插值，其中整數(shù)像素位置不變，只生成分?jǐn)?shù)像素位置。