[發明專利]一種超分辨率重建方法、裝置、設備和存儲介質

有效

• 申請號: 202010435082.8
• 申請日: 2020-05-21
• 公開（公告）號: CN111340711B
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 王茹;李雅卿;涂承杰;熊詩堯;江林燕;彭龍濤
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T11/00;G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 常忠良

本申請實施例公開了一種基于人工智能的超分辨率重建方法、裝置、設備和存儲介質，當需要對某個視頻文件進行超分辨率重建時，獲取第一分辨率的待處理視頻幀序列，待處理視頻幀序列即該視頻文件的視頻幀序列。針對待處理視頻幀序列中每幀待處理視頻幀，根據分辨率重建模型對待處理視頻幀進行分辨率重建，得到第二分辨率的初始重建視頻幀；第二分辨率高于第一分辨率。通過殘差分離方式確定初始重建視頻幀中的輪廓區域，對輪廓區域進行輪廓增強處理，得到目標重建視頻幀，使得高頻細節更加清晰，得到符合線上實際應用場景的畫質最優結果，這樣，根據目標重建視頻幀生成第二分辨率的重建視頻幀序列，可以為用戶提供更加干凈清晰、自然舒適的視頻體驗。

技術領域

本申請涉及圖像處理領域，特別是涉及一種基于人工智能的超分辨率重建方法、裝置、設備和存儲介質。

背景技術

圖像超分辨率是指對通過一幅或者多幅信息互補的低分辨率圖像進行處理，重構出一幅高分辨率圖像的技術，被廣泛的應用在各種需要提升媒體數據（例如視頻或圖像）質量的領域，例如線上視頻觀看、醫學影像、視頻監控、遙感成像等領域。

相關技術中提出了基于深度學習的超分率重建方法，但是相關技術中的超分辨重建方法泛化效果差，面對線上的真實場景，得到的結果未必是畫質最優的結果，往往不能取得令人滿意的超分效果。

發明內容

為了解決上述技術問題，本申請提供了一種基于人工智能的超分辨率重建方法、裝置、設備和存儲介質，通過對模型輸出的初始重建視頻幀進行后處理，可以得到符合線上實際應用場景的畫質最優結果，泛化效果更好，有利于提高用戶的視頻體驗。

本申請實施例公開了如下技術方案：

一方面，本申請實施例提供一種基于人工智能的超分辨率重建方法，所述方法包括：

獲取第一分辨率的待處理視頻幀序列；

針對所述待處理視頻幀序列中的每幀待處理視頻幀，根據分辨率重建模型對所述待處理視頻幀進行分辨率重建，得到第二分辨率的初始重建視頻幀；所述第二分辨率高于所述第一分辨率；

通過殘差分離方式確定所述初始重建視頻幀中的輪廓區域；

對所述輪廓區域進行輪廓增強處理，得到目標重建視頻幀；

根據所述目標重建視頻幀生成第二分辨率的重建視頻幀序列。

另一方面，本申請實施例提供一種基于人工智能的超分辨率重建裝置，所述裝置包括獲取單元、重建單元、確定單元、處理單元和生成單元：

所述獲取單元，用于獲取第一分辨率的待處理視頻幀序列；

所述重建單元，用于針對所述待處理視頻幀序列中的每幀待處理視頻幀，根據分辨率重建模型對所述待處理視頻幀進行分辨率重建，得到第二分辨率的初始重建視頻幀；所述第二分辨率高于所述第一分辨率；

所述確定單元，用于通過殘差分離方式確定所述初始重建視頻幀中的輪廓區域；

所述處理單元，用于對所述輪廓區域進行輪廓增強處理，得到目標重建視頻幀；

所述生成單元，用于根據所述目標重建視頻幀生成第二分辨率的重建視頻幀序列。

另一方面，本申請實施例提供一種設備，所述設備包括處理器以及存儲器：

所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

所述處理器用于根據所述程序代碼中的指令執行前述任一項所述的超分辨率重建方法。

另一方面，本申請實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質用于存儲程序代碼，所述程序代碼用于執行前述任一項所述的超分辨率重建方法。