[發(fā)明專(zhuān)利]一種聯(lián)合超分辨率、色域擴(kuò)展和逆色調(diào)映射方法及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010871696.0
• 申請(qǐng)日: 2020-08-26
• 公開(kāi)（公告）號(hào): CN112102166A
• 公開(kāi)（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 宋利;甘文耀;陳立;解蓉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海交通大學(xué)
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種聯(lián)合超分辨率、色域擴(kuò)展和逆色調(diào)映射方法，其特征在于，包括：

S1：將高分辨率、高色域和高動(dòng)態(tài)范圍的視頻幀下轉(zhuǎn)換為低分辨率、低色域和標(biāo)準(zhǔn)動(dòng)態(tài)范圍的視頻幀，高分辨率、高色域和高動(dòng)態(tài)范圍的視頻幀以及下轉(zhuǎn)換后的低分辨率、低色域和標(biāo)準(zhǔn)動(dòng)態(tài)范圍的視頻幀組成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

S2：基于局部殘差學(xué)習(xí)和全局殘差學(xué)習(xí)設(shè)計(jì)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)；

S3：使用所述訓(xùn)練數(shù)據(jù)集不斷訓(xùn)練優(yōu)化所述卷積神經(jīng)網(wǎng)絡(luò)，得到能完成聯(lián)合超分辨率、色域擴(kuò)展和逆色調(diào)映射的卷積神經(jīng)網(wǎng)絡(luò)；

S4：將所述測(cè)試數(shù)據(jù)集中低分辨率、低色域和標(biāo)準(zhǔn)動(dòng)態(tài)范圍的視頻幀輸入至S3訓(xùn)練后得到的所述卷積神經(jīng)網(wǎng)絡(luò)，得到高分辨率、高色域和高動(dòng)態(tài)范圍的視頻幀。

2.根據(jù)權(quán)利要求1所述的聯(lián)合超分辨率、色域擴(kuò)展和逆色調(diào)映射的方法，其特征在于：所述S1中，建立數(shù)據(jù)集時(shí)：

從高分辨率、高色域和高動(dòng)態(tài)范圍視頻幀中截取出多幅160×160分辨率的圖像塊作為訓(xùn)練數(shù)據(jù)，使用整個(gè)視頻幀作為測(cè)試數(shù)據(jù)；

再將高分辨率、高色域和高動(dòng)態(tài)范圍的視頻幀下轉(zhuǎn)換為低分辨率、低色域和標(biāo)準(zhǔn)動(dòng)態(tài)范圍的視頻幀，將得到的低分辨率、低色域和標(biāo)準(zhǔn)動(dòng)態(tài)范圍視頻幀和高分辨率、高色域和高動(dòng)態(tài)范圍視頻幀，組成對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的聯(lián)合超分辨率、色域擴(kuò)展和逆色調(diào)映射的方法，其特征在于：所述下轉(zhuǎn)換，其降采樣方式為雙三次插值，色調(diào)映射方式為Recommendation ITU-RBT.2390推薦的電電轉(zhuǎn)換函數(shù)，色域轉(zhuǎn)換方式為線性映射。

4.根據(jù)權(quán)利要求3所述的聯(lián)合超分辨率、色域擴(kuò)展和逆色調(diào)映射的方法，其特征在于：所述數(shù)據(jù)集包含多組低分辨率、低色域和標(biāo)準(zhǔn)動(dòng)態(tài)范圍視頻幀以及對(duì)應(yīng)的高分辨率、高色域和高動(dòng)態(tài)范圍視頻幀用于訓(xùn)練模型，另外還有多組用于測(cè)試，其中：高分辨率、高色域和高動(dòng)態(tài)范圍視頻幀量化位數(shù)為10比特，分辨率為3840×2160，色域?yàn)锽T.2020，電光轉(zhuǎn)換函數(shù)為PQ；低分辨率、低色域和標(biāo)準(zhǔn)動(dòng)態(tài)范圍視頻幀量化位數(shù)為8比特，分辨率為1920×1080，色域?yàn)锽T.709，電光轉(zhuǎn)換函數(shù)為BT.1886。

5.根據(jù)權(quán)利要求4所述的聯(lián)合超分辨率、色域擴(kuò)展和逆色調(diào)映射的方法，其特征在于：所述下轉(zhuǎn)換，工作流程包括：

S101，高分辨率、高色域和高動(dòng)態(tài)范圍視頻的量化位數(shù)為10比特，根據(jù)RecommendationITU-R BT.2020，將10比特的數(shù)字亮度和色差信號(hào)反量化為歸一化的亮度和色差信號(hào)；

S102，根據(jù)Recommendation ITU-R BT.2020，將S101得到的亮度和色差信號(hào)轉(zhuǎn)換為非線性的RGB信號(hào)；

S103，根據(jù)Recommendation ITU-R BT.2390推薦的電電轉(zhuǎn)換函數(shù)(EETF)，將非線性的HDR RGB信號(hào)進(jìn)行色調(diào)映射為非線性的SDR RGB信號(hào)；

S104，根據(jù)Recommendation ITU-R BT.2100，使用PQ電-光轉(zhuǎn)換函數(shù)，將S102得到的非線性的SDR RGB信號(hào)轉(zhuǎn)換為線性的SDR RGB信號(hào)；

S105，根據(jù)Recommendation ITU-R BT.709和Recommendation ITU-R BT.2020，將色域?yàn)锽T.2020的線性的RGB信號(hào)轉(zhuǎn)換為色域?yàn)锽T.709的RGB信號(hào)；

S106，根據(jù)Recommendation ITU-R BT.1886的電光轉(zhuǎn)換函數(shù)的逆，將S105得到的線性的RGB信號(hào)轉(zhuǎn)換為非線性RGB信號(hào)；

S107，將分辨率為3840×2160的視頻幀雙三次插值降采樣為分辨率為1920×1080的視頻幀，得到降采樣后的RGB信號(hào)；

S108，根據(jù)Recommendation ITU-R BT.709，將S107得到的降采樣后的RGB信號(hào)轉(zhuǎn)換為亮度和色差信號(hào)；

S109，根據(jù)Recommendation ITU-R BT.709，將歸一化的S108得到的亮度和色差信號(hào)量化為8比特的數(shù)字亮度和色差信號(hào)。