[發明專利]訓練數據獲取方法、像質增強模型與方法及電子設備

在審

• 申請號: 202110065099.3
• 申請日: 2021-01-18
• 公開（公告）號: CN112750092A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 張建;周濟;孟冬偉;羅先桂;黃浩填
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06K9/62
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本申請提供一種訓練數據獲取方法、像質增強模型、像質增強方法、電子設備以及機器可讀存儲介質，所述訓練數據用于像質增強模型，所述訓練數據獲取方法包括：獲取高分辨率圖像；將所述高分辨率圖像轉換為傳感器所采集的原始圖像；在所述原始圖像上疊加滿足指定分布的噪聲，獲得中間圖像；將所述中間圖像轉換為低分辨率圖像；其中，所述高分辨率圖像為分辨率大于第一閾值的圖像，所述低分辨率圖像為分辨率小于第二閾值的圖像。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種訓練數據獲取方法、像質增強模型和方法、電子設備以及機器可讀存儲介質。

背景技術

隨著直播技術的不斷發展與進步，越來越多的用戶使用終端設備直播的方式記錄并分享美食、美景、才藝等。然而，由于終端設備拍攝和數據上傳壓縮率的限制，用戶通過終端設備上傳直播視頻流時，觀眾端所接收的直播畫面的分辨率會比較低、像質較差，影響用戶體驗。

雖然，基于深度學習網絡的圖像恢復、增強以及超分辨率等技術在非視頻直播領域已有較多的研究和應用。但是，由于視頻直播的高度實時性，因此，目前所述深度學習網絡在視頻直播領域的應用還比較少。此外，基于深度學習網絡的圖像恢復、增強以及超分辨率技術，所使用的低分辨率訓練數據，大部分是利用高性能的圖像采集裝置采集全色彩圖像(如RGB圖像)，通過人為為全彩色圖像引入噪聲或者模糊獲取低分辨率圖像，這種方法所獲取的低分辨率訓練圖像與真實直播場景下所產生的低分辨率圖像常常具有較大的差別。

發明內容

為克服相關技術中，由于像質增強模型訓練的低分辨率圖像與真實直播場景下所產生的低分辨率圖像具有較大的差別，本申請提供了一種訓練數據獲取方法、像質增強模型、電子設備以及機器可讀存儲介質。

根據本申請實施例的第一方面，提供一種訓練數據獲取方法，所述訓練數據用于像質增強模型，所述方法包括：獲取高分辨率圖像；將所述高分辨率圖像轉換為傳感器所采集的原始圖像；在所述原始圖像上疊加滿足指定分布的噪聲，獲得中間圖像；將所述中間圖像轉換為低分辨率圖像；其中，所述高分辨率圖像為分辨率大于第一閾值的圖像，所述低分辨率圖像為分辨率小于第二閾值的圖像。

根據本申請實施例的第二方面，提供一種像質增強模型，所述像質增強模型基于本申請第一方面所述的訓練數據確定，用于實現對輸入圖像進行像質增強，所述像質增強模型包括：編碼端和解碼端；所述編碼端包括一個輸入卷積層以及指定數量的第一層級，所述第一層級依次串聯，每個第一層級包括一個下采樣層以及第一數量的殘差模塊；所述解碼端包括指定數量的第二層級以及一個輸出卷積層，所述第二層級依次串聯，每個第二層級包括一個上采樣層以及第二數量的殘差模塊；其中，所述編碼端的最后一個第一層級的殘差模塊與所述解碼端的首個第二層級的殘差模塊連接，所述第二數量大于所述第一數量。

根據本申請實施例的第三方面，提供一種基于本申請第二方面所述的像質增強模型的像質增強方法，所述方法包括：從主播端獲取待處理圖像；將所述待處理圖像輸入至所述像質增強模型，獲得分辨率大于第一閾值的高分辨率圖像；其中，所述待處理圖像在所述像質增強模型中依次經過編碼處理和解碼處理，所述編碼處理依次包括輸入卷積處理和指定數量的第一處理，每個第一處理包括一個下采樣處理和第一數量的特征提取，所述解碼處理包括指定數量的第二處理和輸出卷積處理，每個第二處理包括一個上采樣處理和第二數量的特征恢復，且所述第二數量大于所述第一數量

將待處理圖像輸入至所述像質增強模型，獲得高分辨率圖像；其中，所述高分辨率圖像的分辨率大于第一閾值。

根據本申請實施例的第四方面，提供一種電子設備，所述電子設備包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，所述處理器執行所述程序時實現本申請第一方面和本申請第三方面任一項所述的方法。

根據本申請實施例的第五方面，提供一種機器可讀存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現本申請第一方面和本申請第三方面任一項所述的方法。