[發明專利]用于生成畫質提升模型的方法、裝置及計算機程序產品

有效

• 申請號: 202110903430.4
• 申請日: 2021-08-06
• 公開（公告）號: CN113610731B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 袁葦航
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/774;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于生成畫質提升模型的方法，包括：

獲取訓練樣本集，其中，所述訓練樣本集中的訓練樣本包括樣本幀圖像和標簽幀圖像；

利用機器學習方法，以樣本幀圖像為輸入，以所輸入的樣本幀圖像對應的標簽幀圖像為期望輸出，訓練得到去噪網絡；

利用機器學習方法，以樣本幀圖像為輸入，以所輸入的樣本幀圖像對應的標簽幀圖像為第一濾波圖像的期望圖像，訓練得到增強網絡，其中，所述第一濾波圖像由初始增強網絡輸出的圖像經過低通濾波得到；

根據所述去噪網絡和所述增強網絡，得到所述畫質提升模型，包括：

利用機器學習方法，以樣本幀圖像為所述去噪網絡的輸入，將所述去噪網絡輸出的圖像作為所述增強網絡的輸入，以所輸入的樣本幀圖像對應的標簽幀圖像為第二濾波圖像的期望圖像，根據表征所輸入的樣本幀圖像對應的標簽幀圖像和所述第二濾波圖像之間的像素級差異的第五損失，以及結構差異的第六損失，更新所述去噪網絡和所述增強網絡，其中，所述第二濾波圖像由所述增強網絡輸出的圖像經過低通濾波得到；組合更新后的所述去噪網絡和所述增強網絡，得到所述畫質提升模型。

2.根據權利要求1所述的方法，其中，所述利用機器學習方法，以樣本幀圖像為輸入，以所輸入的樣本幀圖像對應的標簽幀圖像為期望輸出，訓練得到去噪網絡，包括：

執行如下第一訓練操作，直至得到所述去噪網絡：

以所述訓練樣本集中的樣本幀圖像為初始去噪網絡的輸入，以所輸入的樣本幀圖像對應的標簽幀圖像為期望輸出，得到去噪圖像；

根據所輸入的樣本幀圖像對應的標簽幀圖像和所述去噪圖像，得到表征所輸入的樣本幀圖像對應的標簽幀圖像和所述去噪圖像之間的像素級差異的第一損失，以及結構差異的第二損失；

根據所述第一損失和所述第二損失，更新所述初始去噪網絡。

3.根據權利要求1所述的方法，其中，所述利用機器學習方法，以樣本幀圖像為輸入，以所輸入的樣本幀圖像對應的標簽幀圖像為第一濾波圖像的期望圖像，訓練得到增強網絡，包括：

執行如下第二訓練操作，直至得到所述增強網絡：

以所述訓練樣本集中的樣本幀圖像為初始增強網絡的輸入，得到第一輸出圖像；

對所述第一輸出圖像進行低通濾波，得到第一濾波圖像；

根據所輸入的樣本幀圖像對應的標簽幀圖像和所述第一濾波圖像，得到表征所輸入的樣本幀圖像對應的標簽幀圖像和所述第一濾波圖像之間的像素級差異的第三損失，以及結構差異的第四損失；

根據所述第三損失和所述第四損失，更新所述初始增強網絡。

4.根據權利要求1所述的方法，其中，所述利用機器學習方法，以樣本幀圖像為所述去噪網絡的輸入，將所述去噪網絡輸出的圖像作為所述增強網絡的輸入，以所輸入的樣本幀圖像對應的標簽幀圖像為第二濾波圖像的期望圖像，更新所述去噪網絡和所述增強網絡，包括：

執行如下更新操作：

以所述訓練樣本集中的樣本幀圖像為所述去噪網絡的輸入，將所述去噪網絡輸出的圖像作為所述增強網絡的輸入，得到第二輸出圖像；

對所述第二輸出圖像進行低通濾波，得到第二濾波圖像；

根據所輸入的樣本幀圖像對應的標簽幀圖像和所述第二濾波圖像，得到表征所輸入的樣本幀圖像對應的標簽幀圖像和所述第二濾波圖像之間的像素級差異的第五損失，以及結構差異的第六損失；

根據所述第五損失和所述第六損失，更新所述去噪網絡和所述增強網絡。

5.根據權利要求1-4中任一項所述的方法，其中，所述獲取訓練樣本集，包括：

從無損編碼的視頻中采樣得到無損圖像集；

基于預設壓縮比壓縮所述視頻，得到壓縮視頻；

從所述壓縮視頻中采樣得到壓縮圖像集，其中，所述壓縮圖像集中的壓縮圖像與所述無損圖像集中的無損圖像一一對應；

將所述壓縮圖像集與所述無損圖像集中一一對應的圖像組成圖像對，并篩選出峰值信噪比低于預設閾值的圖像對；

以篩選出的圖像對中的無損圖像為標簽幀圖像，以壓縮圖像為樣本幀圖像，得到所述訓練樣本集。