[發(fā)明專利]一種視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011307251.6
• 申請(qǐng)日: 2020-11-19
• 公開（公告）號(hào): CN112601095B
• 公開（公告）日: 2023-01-10
• 發(fā)明（設(shè)計(jì)）人: 樊碩
• 申請(qǐng)（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號(hào): H04N19/80
• 分類號(hào): H04N19/80;H04N19/567;H04N19/182;H04N19/172;H04N19/186;H04N19/51;G06T3/00;G06T3/40;G06T7/262;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京萬思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 姜楠楠

1.一種視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建方法，包括：

采集多種不同類型的原始視頻數(shù)據(jù)，獲取所述原始視頻數(shù)據(jù)中的圖像幀序列，基于所述圖像幀序列生成原始圖像集；

對(duì)所述原始圖像集進(jìn)行預(yù)處理操作，創(chuàng)建訓(xùn)練圖像集；

構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型；

將所述訓(xùn)練圖像集作為所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)，并將所述原始圖像集作為對(duì)應(yīng)的真值對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到適用于視頻亮度和色度分?jǐn)?shù)插值的深度卷積神經(jīng)網(wǎng)絡(luò)模型；

所述對(duì)所述原始圖像集進(jìn)行預(yù)處理操作，創(chuàng)建訓(xùn)練圖像集，包括：對(duì)所述原始圖像集中的整數(shù)像素位置圖像進(jìn)行編碼，學(xué)習(xí)重建整數(shù)位置視頻和分?jǐn)?shù)位置視頻之間的映射，以基于整數(shù)像素位置圖像分別生成半像素圖像集和四分之一像素圖像集；基于所述半像素圖像集和四分之一像素圖像集，創(chuàng)建訓(xùn)練圖像集；

所述構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型包括：構(gòu)建用于對(duì)所述訓(xùn)練圖像集中的圖像幀進(jìn)行亮度分量插值的第一卷積神經(jīng)網(wǎng)絡(luò)和用于對(duì)所述訓(xùn)練圖像集中的圖像幀進(jìn)行色度分量插值的第二卷積神經(jīng)網(wǎng)絡(luò)；其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)和所述第二卷積神經(jīng)網(wǎng)絡(luò)中均具有自定義的上下文模型；基于所述第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)組合形成深度卷積神經(jīng)網(wǎng)絡(luò)模型；

所述深度卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)架構(gòu)整體共包括20個(gè)卷積層，每層通過應(yīng)用64進(jìn)行卷積3×3大步向前過濾，填充設(shè)置為1，以保持卷積后輸入圖像的大小；對(duì)于每個(gè)卷積層，除最后一層外，在卷積后設(shè)置一個(gè)ReLU激活層，將學(xué)習(xí)率設(shè)置為從0.1開始，并在十個(gè)紀(jì)元后降低十，訓(xùn)練在50個(gè)紀(jì)元時(shí)停止，批次大小為128。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述訓(xùn)練圖像集作為所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)，并將所述原始圖像集作為對(duì)應(yīng)的真值對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

將所述訓(xùn)練圖像集輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)模型；

分別通過所述第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)結(jié)合離散余弦變換的插值濾波器對(duì)所述訓(xùn)練圖像集中各圖像幀進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，基于率失真值成本選擇分?jǐn)?shù)像素插值方法進(jìn)行亮度分量和色度分量的插值。

3.一種視頻亮度和色度分?jǐn)?shù)插值模型的創(chuàng)建系統(tǒng)，包括：

原始圖像集生成模塊，其配置成采集多種不同類型的原始視頻數(shù)據(jù)，獲取所述原始視頻數(shù)據(jù)中的圖像幀序列，基于所述圖像幀序列生成原始圖像集；

訓(xùn)練圖像集創(chuàng)建模塊，其配置成對(duì)所述原始圖像集進(jìn)行預(yù)處理操作，創(chuàng)建訓(xùn)練圖像集；

模型構(gòu)建模塊，其配置成構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型；

模型訓(xùn)練模塊，其配置成將所述訓(xùn)練圖像集作為所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)，并將所述原始圖像集作為對(duì)應(yīng)的真值對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到適用于視頻亮度和色度分?jǐn)?shù)插值的深度卷積神經(jīng)網(wǎng)絡(luò)模型；

所述訓(xùn)練圖像集創(chuàng)建模塊，還配置成：對(duì)所述原始圖像集中的整數(shù)像素位置圖像進(jìn)行編碼，學(xué)習(xí)重建整數(shù)位置視頻和分?jǐn)?shù)位置視頻之間的映射，以基于整數(shù)像素位置圖像分別生成半像素圖像集和四分之一像素圖像集；基于所述半像素圖像集和四分之一像素圖像集，創(chuàng)建訓(xùn)練圖像集；

所述模型構(gòu)建模塊，還配置成：構(gòu)建用于對(duì)所述訓(xùn)練圖像集中的圖像幀進(jìn)行亮度分量插值的第一卷積神經(jīng)網(wǎng)絡(luò)和用于對(duì)所述訓(xùn)練圖像集中的圖像幀進(jìn)行色度分量插值的第二卷積神經(jīng)網(wǎng)絡(luò)；其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)和所述第二卷積神經(jīng)網(wǎng)絡(luò)中均具有自定義的上下文模型；基于所述第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)組合形成深度卷積神經(jīng)網(wǎng)絡(luò)模型；

所述深度卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)架構(gòu)整體共包括20個(gè)卷積層，每層通過應(yīng)用64進(jìn)行卷積3×3大步向前過濾，填充設(shè)置為1，以保持卷積后輸入圖像的大小；對(duì)于每個(gè)卷積層，除最后一層外，在卷積后設(shè)置一個(gè)ReLU激活層，將學(xué)習(xí)率設(shè)置為從0.1開始，并在十個(gè)紀(jì)元后降低十，訓(xùn)練在50個(gè)紀(jì)元時(shí)停止，批次大小為128。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述模型訓(xùn)練模塊，還配置成：

將所述訓(xùn)練圖像集輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)模型；

分別通過所述第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)結(jié)合離散余弦變換的插值濾波器對(duì)所述訓(xùn)練圖像集中各圖像幀進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，基于率失真值成本選擇分?jǐn)?shù)像素插值方法進(jìn)行亮度分量和色度分量的插值。