[發明專利]一種圖像處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010822864.7
• 申請日: 2020-08-14
• 公開（公告）號: CN111970513A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 祁世風;何翔;吳濤;胡海;覃小春
• 申請（專利權）人: 成都數字天空科技有限公司
• 主分類號: H04N19/42
• 分類號: H04N19/42;H04N19/132;H04N19/117;H04N21/234;H04N21/44;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請提供一種圖像處理方法、裝置、電子設備及存儲介質，該方法包括：接收服務器發送的視頻編碼圖像；將視頻編碼圖像進行解碼，獲得視頻解碼圖像；將視頻解碼圖像進行超分辨率重建，獲得超分辨率圖像；根據超分辨率圖像生成視頻流數據，并將視頻流數據存儲或播放顯示。在上述的實現過程中，對解碼后的視頻圖像進行超分辨率重建，可以使低分辨率視頻恢復到超高分辨率視頻，呈現出較高質量的視頻畫面，同時也保證了用戶體驗，從而在視頻清晰度保持基本不變的情況下，有效地增加視頻壓縮比率，改善了由于過低的視頻壓縮比率導致視頻流在低帶寬情況下被播放時，出現的畫面卡頓的問題。

技術領域

本申請涉及深度學習、視頻和圖像處理的技術領域，具體而言，涉及一種圖像處理方法、裝置、電子設備及存儲介質。

背景技術

圖像處理，是指對圖像進行分析、加工和處理，使其滿足視覺、心理或其他要求的技術；圖像處理是信號處理在圖像領域上的一個應用；當前大多數的圖像均是以數字形式存儲，因而圖像處理很多情況下指數字圖像處理；圖像處理是信號處理的子類，另外與計算機科學、人工智能等領域也有密切的關系。

目前在視頻流數據的傳輸過程中，通常是先對視頻流進行降質采樣并壓縮后，降質采樣包括兩種方式：降低視頻中每幀的圖像分辨率和降低視頻幀率，再將降質采樣并壓縮后的視頻流傳輸至接收終端，接收終端再使用視頻解碼算法對降質采樣并壓縮后的視頻流進行解碼后，再使用插值算法對解碼后的畫面進行還原，獲得還原后的視頻流。在實踐過程中發現，通過這種降采樣、壓縮、傳輸、解碼和插值的方式對視頻流處理后，低帶寬用戶在播放還原后的視頻流時，用戶體驗不佳，具體例如視頻畫面會產生卡頓的問題。

發明內容

本申請實施例的目的在于提供一種圖像處理方法、裝置、電子設備及存儲介質，用于改善視頻流在低帶寬情況下被播放時出現畫面卡頓的問題。

本申請實施例提供了一種圖像處理方法，應用于終端設備，包括：接收服務器發送的視頻編碼圖像，視頻編碼圖像是對視頻流數據中的視頻圖像進行超分辨率壓縮和編碼獲得的；將視頻編碼圖像進行解碼，獲得視頻解碼圖像；將視頻解碼圖像進行超分辨率重建，獲得超分辨率圖像；根據超分辨率圖像生成視頻流數據，并將視頻流數據存儲或播放顯示。在上述的實現過程中，通過對視頻流數據中的圖像進行超分辨率壓縮、編碼、傳輸、解碼和超分辨率重建，使得壓縮編碼后的視頻流數據更快地從網絡中傳輸完成，也就是說，對解碼后的視頻圖像進行超分辨率重建，可以使低分辨率視頻恢復到超高分辨率視頻，呈現出較高質量的視頻畫面，同時也保證了用戶體驗，從而在視頻清晰度保持基本不變的情況下，有效地增加視頻壓縮比率，改善了由于過低的視頻壓縮比率導致視頻流在低帶寬情況下被播放時，出現的畫面卡頓的問題。

可選地，在本申請實施例中，將視頻解碼圖像進行超分辨率重建，獲得超分辨率圖像，包括：使用超分辨率重建網絡模型中的上采樣網絡對視頻解碼圖像進行上采樣，獲得上采樣圖像；使用超分辨率重建網絡模型中的殘差學習網絡提取上采樣圖像的細節特征，獲得細節特征圖；將細節特征圖和上采樣圖像進行融合，獲得超分辨率圖像。在上述的實現過程中，通過使用超分辨率重建網絡模型中的上采樣網絡對視頻解碼圖像進行上采樣獲得上采樣圖像，并使用超分辨率重建網絡模型中的殘差學習網絡提取上采樣圖像的細節特征圖；最后將細節特征圖和上采樣圖像進行融合，獲得超分辨率圖像；由于結合了上采樣圖像和上采樣圖像中的細節特征信息，能夠實現高分辨率圖像中的空間清晰度和時間的一致性，從而有效地提高了圖像的清晰度和細節信息。