[發明專利]一種圖像重建方法及相關裝置

在審

• 申請號: 202011640507.5
• 申請日: 2020-12-31
• 公開（公告）號: CN114764745A
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 呂帥林;張儷耀;劉子鸞;孫斐然;魏寶強
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/12;G06T7/13;G06V40/16;G06V10/74;G06V10/80;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本申請公開了一種圖像重建方法，可以實現在電子設備接收到用戶的拍攝操作之前，也即是拍攝預覽時，對預覽圖像進行預處理，以及從磁盤加載高清紋理字典庫至運行內存中。在接收到用戶的拍攝操作后，電子設備可以利用已加載在運行內存中的高清紋理字典庫拍攝到的低清圖像中進行超分修復，得到高清圖像。這樣，可以減少電子設備在拍照后對拍攝到的低清圖像進行超分修復的時間。

技術領域

本申請涉及計算機視覺領域，尤其涉及一種圖像重建方法及相關裝置。

背景技術

智能手機等電子設備發展至今，拍照已然成為其最為重要的特性之一。無論是基礎成像器件還是成像算法，均產生了極大的發展和變化，一次有一次地推動了手機拍照的變革，提升了用戶拍照體驗。由于電子設備拍攝環境、硬件條件、圖像壓縮等因素的影響，電子設備獲取到的圖像往往存在視覺效果較差、分辨率較低、含有噪聲或反光等情況，通常需要對獲取到的圖像進行重建以獲得更高質量的圖像。

當前，電子設備上通常采用基于深度學習的圖像重建方法。例如，利用超分辨率重建生成式對抗網絡(super-resolutiongenerativeadversarialnetworks，SRGAN)、增強型超分辨率重建生成式對抗網絡(super-resolutiongenerativeadversarialnetworks，ESRGAN)、寬泛激活的高效準確圖像超分辨率重建(wideactivationforefficientandaccurateimagesuper-resolution，WDSR)等方法對單幀圖像進行超分重建處理。又例如，利用基于生成對抗網絡的網絡模型在拍攝圖像中的去玻璃反光或去眼睛反光。又例如，基于卷積生成網絡(convolutional neural networks，CNN)的多幀超分、去噪處理等。這些處理模型參數眾多，電子設備加載這些模型時耗時較長，電子設備在拍攝后需要等待較長時間才能超分重建出高清圖像。因此，部署這些模型在電子設備上往往需要進行壓縮量化，變成小模型后再進行微調進一步優化等，但是隨者處理模型的減小，處理模型效果也往往隨之減弱，很難找到一個處理速度快并且效果有較好的處理模型。

發明內容

本申請提供了一種圖像重建方法及相關裝置，可以實現在拍攝預覽過程中利用預覽圖像流，加載超分過程需要用到的高清紋理字典庫到內存中，并在拍攝到圖像對拍攝到的圖像進行圖像重建，快速提高圖像的分辨率。

第一方面，本申請提供了一種圖像重建方法，包括：電子設備顯示拍攝預覽界面，拍攝預覽界面上顯示有拍攝鍵和攝像頭實時采集的預覽圖像流；該電子設備檢測出該預覽圖像流中包括指定目標內容，該指定目標內容的類型為第一類型；該電子設備從該多個不同拍攝目標類別的字典庫中確定出第一類型對應的第一字典庫，并將該第一字典庫從該磁盤加載至運行內存中，其中，該多個不同拍攝目標類型的高清紋理字典庫存儲在該電子設備的磁盤中；在該第一字典庫被加載至該運行內存后，該電子設備接收第一輸入；響應于該第一輸入，該電子設備獲取該攝像頭采集的低清圖像；該電子設備通過該運行內存中加載的該第一字典庫，對該低清圖像進行處理，得到高清圖像，該高清圖像中該指定目標內容的分辨率大于該低清圖像中該指定目標內容的分辨率。

通過本申請提供的一種圖像重建方法，可以實現在電子設備接收到用戶的拍攝操作之前，也即是拍攝預覽時，對預覽圖像進行預處理，以及加載字典庫至運行內存(RAM)中。在接收到用戶的拍攝操作后，電子設備可以利用已加載在運行內存中的字典庫對拍攝到的低清圖像中進行超分修復，得到高清圖像。這樣，可以減少電子設備在拍照后對拍攝到的低清圖像進行超分修復的時間。

在一種可能的實現方式中，該電子設備通過該運行內存中加載的該第一字典庫，對該低清圖像進行處理，得到高清圖像，具體包括：該電子設備從該運行內存中加載的該第一字典庫，匹配出該低清圖像對應的第一高清紋理特征；該第一字典庫中包括有同一拍攝目標類別的高清紋理特征；該電子設備將該第一高清紋理特征，融合至該低清圖像中，得到該高清圖像。