[發明專利]圖像處理方法、裝置、可讀介質及電子設備

在審

• 申請號: 202011355872.1
• 申請日: 2020-11-26
• 公開（公告）號: CN112330788A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 王光偉
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T7/246;G06T5/50
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 張巖龍

1.一種圖像處理方法，其特征在于，所述方法包括：

提取待處理圖像中的全局光照信息；

根據所述全局光照信息對所述待處理圖像進行重建，以得到全局光照圖像；

計算所述全局光照圖像與所述待處理圖像之間的殘差信息；

根據所述殘差信息確定所述待處理圖像中所包括的目標局部光照信息，其中，所述目標局部光照信息為所述待處理圖像中的每個像素塊中的光照信息，每個所述像素塊的大小相同，所有所述像素塊共同組成所述待處理圖像。

2.根據權利要求1所述的方法，其特征在于，所述提取待處理圖像中的全局光照信息包括：

通過預先訓練好的圖像特征提取網絡提取所述待處理圖像中的所述全局光照信息；

其中，所述全局光照信息為球諧光照。

3.根據權利要求2所述的方法，其特征在于，所述根據所述全局光照信息對所述待處理圖像進行重建，以得到全局光照圖像包括：

提取所述待處理圖像中的法向信息和顏色信息；

根據所述法向信息、所述顏色信息和所述全局光照信息對所述待處理圖像進行重建，以得到所述全局光照圖像。

4.根據權利要求2所述方法，其特征在于，所述根據所述殘差信息確定所述待處理圖像中所包括的目標局部光照信息包括：

提取所述待處理圖像中的法向信息和顏色信息；

根據所述法向信息、所述顏色信息和所述殘差信息確定所述待處理圖像中所包括的目標局部光照信息。

5.根據權利要求3或4所述的方法，其特征在于，所述提取所述待處理圖像中的法向信息和顏色信息包括：

通過所述圖像特征提取網絡提取所述法向信息和所述顏色信息。

6.根據權利要求5所述的方法，其特征在于，所述根據所述法向信息、所述顏色信息和所述殘差信息確定所述待處理圖像中所包括的目標局部光照信息包括：

將所述法向信息、所述顏色信息和所述殘差信息輸入預先訓練好的光照估計網絡中，以得到所述待處理圖像中所包括的目標局部光照信息；

其中，所述光照估計網絡通過自監督學習的訓練方法，以最小化目標損失函數的目的訓練得到，所述目標損失函數用于約束根據所述光照估計網絡輸出的所述目標局部光照信息重建得到的局部光照圖像，與所述待處理圖像之間的偏差。

7.根據權利要求6所述的方法，其特征在于，所述光照估計網絡能夠輸出多個局部光照信息，每個局部光照信息中分別包括不同大小的像素塊中的光照信息；

所述方法還包括：

獲取目標像素塊大小；

所述根據所述殘差信息確定所述待處理圖像中所包括的目標局部光照信息包括：

從所述多個局部光照信息中確定與所述目標像素塊大小相對應的局部光照信息為所述目標局部光照信息。

8.一種圖像處理裝置，其特征在于，所述裝置包括：

第一提取模塊，用于提取待處理圖像中的全局光照信息；

第一重建模塊，用于根據所述全局光照信息對所述待處理圖像進行重建，以得到全局光照圖像；

計算模塊，用于計算所述全局光照圖像與所述待處理圖像之間的殘差信息；

處理模塊，用于根據所述殘差信息確定所述待處理圖像中所包括的目標局部光照信息，其中，所述目標局部光照信息為所述待處理圖像中的每個像素塊中的光照信息，每個所述像素塊的大小相同，所有所述像素塊共同組成所述待處理圖像。

9.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，該程序被處理裝置執行時實現權利要求1-7中任一項所述方法的步驟。

10.一種電子設備，其特征在于，包括：

存儲裝置，其上存儲有計算機程序；

處理裝置，用于執行所述存儲裝置中的所述計算機程序，以實現權利要求1-7中任一項所述方法的步驟。