[發明專利]光照方向確定方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010789367.1
• 申請日: 2020-08-07
• 公開（公告）號: CN114092381A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 郝燕龍;張淵;鄭文
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/00
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊凱程

本公開關于光照方向確定方法、裝置、電子設備及存儲介質，所述方法包括：通過多個下采樣神經網絡依次對待處理圖像進行下采樣，得到待轉換圖像；通過通道轉換神經網絡對待轉換圖像進行通道轉換，得到轉換后圖像；對轉換后圖像進行矩陣變換，得到目標圖像；根據目標圖像中像素的亮度在目標圖像中確定光源對應的光源像素；根據每個光源像素指向目標圖像中心的向量，計算待處理圖像中光源的光照方向。根據本公開，將待處理圖像的特征表達在目標圖像中，實現通過目標圖像準確地對待處理圖像光照的特征進行表達，進而根據目標直接準確地確定待處理圖像中的光照方向，所應用模型簡單，計算速度快，適用于在手機等計算能力不強的設備上使用。

技術領域

本公開涉及圖像處理領域，尤其涉及光照方向確定方法、裝置、電子設備及存儲介質。

背景技術

在虛擬現實和增強現實等領域，為了在生成的虛擬物體上呈現與環境相同的光照效果，需要先計算環境中光源的光照方向。

目前的計算光照方向的方式，計算的結果并非光照方向，而是球諧系數，渲染過程相對直接得到光照方向較為復雜，并且得到的球諧系數用于表征光照方向，準確率也不是很高。

發明內容

本公開提供了光照方向確定方法、裝置、電子設備及存儲介質，以至少解決相關技術中的技術問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提出一種光照方向確定方法，包括：

通過多個下采樣神經網絡依次對待處理圖像進行下采樣，以得到待轉換圖像，其中，每個所述下采樣神經網絡輸出圖像的通道數，為所述下采樣神經網絡輸入圖像的通道數的n倍，所述待轉換圖像寬度上和高度上像素的數目為1，n為大于1的整數；

通過通道轉換神經網絡對所述待轉換圖像進行通道轉換，以得到轉換后圖像，其中，所述轉換后圖像的像素總數為目標數目，所述目標數目為預設通道數和預設寬度以及預設高度之積；

對所述轉換后圖像進行矩陣變換，以得到目標圖像，其中，所述目標圖像的通道數、寬度方向上像素的數目和高度方向上像素的數目分別為所述預設通道數、所述預設寬度和所述預設高度；

根據所述目標圖像中像素的亮度在所述目標圖像中確定光源對應的光源像素；

根據每個所述光源像素指向所述目標圖像中心的向量，計算所述待處理圖像中光源的光照方向。

可選地，所述根據所述目標圖像中像素的亮度在所述目標圖像中確定光源像素包括：

在所述目標圖像中確定最大亮度的像素；

在所述目標圖像中確定亮度與所述最大亮度的比值大于預設比值的像素為所述光源像素。

可選地，所述根據所述目標圖像中像素的亮度在所述目標圖像中確定光源像素包括：

在所述目標圖像中確定亮度大于或等于預設亮度的像素為所述光源像素。

可選地，所述根據每個所述光源像素指向所述目標圖像中心的向量，計算所述待處理圖像中光源的光照方向包括：

將每個所述向量相加得到和向量，將所述和向量的方向作為所述光照方向。

可選地，所述根據每個所述光源像素指向所述目標圖像中心的向量，計算所述待處理圖像中光源的光照方向包括：

對每個所述向量進行加權求和，得到求和向量的方向作為所述光照方向，其中，所述向量的權重與所述向量對應的光源像素的亮度正相關。

可選地，在通過多個下采樣神經網絡依次對待處理圖像進行下采樣之前，所述方法還包括：

在初始圖像的高度上和寬度上的像素數目相等的情況下，將所述初始圖像作為所述待處理圖像；