[發明專利]一種聯合超分辨率、色域擴展和逆色調映射方法及設備

在審

• 申請號: 202010871696.0
• 申請日: 2020-08-26
• 公開（公告）號: CN112102166A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 宋利;甘文耀;陳立;解蓉
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發明提供一種聯合超分辨率、色域擴展和逆色調映射方法及設備，其中：S1：將高分辨率、高色域和高動態范圍的視頻幀下轉換為低分辨率、低色域和標準動態范圍的視頻幀，組成訓練數據集和測試數據集；S2：基于局部殘差學習和全局殘差學習設計一個卷積神經網絡；S3：使用所述訓練數據集不斷訓練優化所述卷積神經網絡，得到能完成聯合超分辨率、色域擴展和逆色調映射的卷積神經網絡；S4：將所述測試數據集中低分辨率、低色域和標準動態范圍的視頻幀輸入至S3訓練后得到的所述卷積神經網絡，得到高分辨率、高色域和高動態范圍的視頻幀。本發明改善了現有方法的偽影問題，提高了主觀和客觀質量。

技術領域

本發明涉及圖像處理技術領域的方法，具體地說，涉及的是一種基于卷積神經網絡的聯合超分辨率、色域擴展和逆色調映射方法及設備。

背景技術

近年來，拍攝和顯示技術迅速發展，市場上已經出現了大量消費級的高分辨率、高色域和高動態范圍的攝像機和顯示器。Recommendation ITU-R BT.2020標準對超高清電視的相關參數進行了定義，規定其分辨率為3840×2160或者7680×4320，量化位數為10比特或者12比特，而傳統的符合Recommendation ITU-R BT.709標準的高清電視的分辨率為1920×1080，編碼比特數為8比特或者10比特。Recommendation ITU-R BT.2020標準規定的色域大于Recommendation ITU-R BT.709規定的色域。Recommendation ITU-R BT.2100標準對高動態范圍電視的相關參數進行了定義，規定了遠大于標準動態范圍電視的亮度顯示范圍。與傳統的高清電視相比，高動態范圍的超高清電視具有更高的分辨率、更高的動態范圍、更寬的色域以及更高的量化位數，因此高動態范圍的超高清電視相比于標準動態范圍的高清電視，具有更清晰的畫面、更多陰影和亮部的細節信息以及更加豐富的色彩。

雖然高分辨率、高色域和高動態范圍的顯示設備已經出現在消費市場，但是由于高分辨率、高色域和高動態范圍的視頻內容匱乏，需要將傳統的低分辨率、低色域和標準動態范圍視頻上轉換為高分辨率、高色域和高動態范圍視頻。

傳統方法只是進行像素的一一映射，無法重建高頻信息、紋理細節以及豐富的顏色。近幾年出現的一些基于深度學習的方法存在偽影問題，因此主觀質量不高。

發明內容

針對現有的聯合超分辨率、色域擴展和逆色調映射方法的不足，本發明提供一種基于卷積神經網絡的聯合超分辨率、色域擴展和逆色調映射方法及設備，能夠重建高頻信息，恢復高光和陰影的細節，拓展色彩范圍。

根據本發明的第一目的，提供一種聯合超分辨率、色域擴展和逆色調映射方法，包括：

S1：將高分辨率、高色域和高動態范圍的視頻幀下轉換為低分辨率、低色域和標準動態范圍的視頻幀，高分辨率、高色域和高動態范圍的視頻幀以及下轉換后的低分辨率、低色域和標準動態范圍的視頻幀組成訓練數據集和測試數據集；

S2：基于局部殘差學習和全局殘差學習設計一個卷積神經網絡；

S3：使用所述訓練數據集不斷訓練優化所述卷積神經網絡，得到能完成聯合超分辨率、色域擴展和逆色調映射的卷積神經網絡；

S4：將所述測試數據集中低分辨率、低色域和標準動態范圍的視頻幀輸入至S3訓練后得到的所述卷積神經網絡，得到高分辨率、高色域和高動態范圍的視頻幀。

可選地，所述S1中，建立數據集時：

從高分辨率、高色域和高動態范圍視頻幀中截取出多幅160×160分辨率的圖像塊作為訓練數據，使用整個視頻幀作為測試數據；

再將高分辨率、高色域和高動態范圍的視頻幀下轉換為低分辨率、低色域和標準動態范圍的視頻幀，將得到的低分辨率、低色域和標準動態范圍視頻幀和高分辨率、高色域和高動態范圍視頻幀，組成對應的訓練數據集和測試數據集。