[發明專利]渲染對象以匹配相機噪聲

有效

• 申請號: 202010102134.X
• 申請日: 2020-02-19
• 公開（公告）號: CN111612915B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: T·霍爾;D·庫爾茨
• 申請（專利權）人: 蘋果公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 張寧

1.一種用于渲染計算機生成現實CGR內容的方法，所述方法包括：

在具有處理器的電子設備處：

識別由圖像捕獲設備捕獲的第一圖像的噪聲數據；

基于所述噪聲數據來創建參數化噪聲模型；

使用所述參數化噪聲模型來生成近似第二圖像中的噪聲的噪聲圖案；以及

渲染CGR內容，所述CGR內容包括：

第一部分，所述第一部分包括虛擬內容，所述虛擬內容包括基于所述噪聲圖案添加到所述虛擬內容的噪聲；以及

第二部分，所述第二部分包括所述第二圖像的內容并且包括所述第二圖像中的所述噪聲。

2.根據權利要求1所述的方法，其中識別所述噪聲數據包括使用由所述圖像捕獲設備在多個不同照明條件或成像條件下捕獲的圖像來測量針對多個不同信噪比SNR水平的相機噪聲。

3.根據權利要求1所述的方法，其中創建所述參數化噪聲模型包括識別所述參數化噪聲模型的參數以使所述參數化噪聲模型與所述噪聲數據擬合。

4.根據權利要求3所述的方法，其中識別所述參數包括：

基于所述噪聲數據來確定強度偏差和相關聯的空間相關性；以及

識別用于所述參數化噪聲模型的參數以產生與所述空間相關性和強度偏差分布對應的輸出。

5.根據權利要求4所述的方法，其中所述強度偏差是通過創建差異圖像來確定的，所述差異圖像包括所測量的噪聲的兩個圖像之間的差異，其中所述空間相關性是基于將所述差異圖像與其自身進行偏移和關聯來確定的。

6.根據權利要求4所述的方法，其中所述參數化噪聲模型經由使用由高斯混合模型所描述的內核的平滑來描述空間相關性。

7.根據權利要求1所述的方法，其中所述第二圖像是所述第一圖像，其中使用由所述圖像捕獲設備在所述CGR內容的渲染期間捕獲的圖像來識別用于所述參數化噪聲模型的參數。

8.根據權利要求1所述的方法，其中所述第二圖像不同于所述第一圖像，其中使用所述圖像捕獲設備在所述CGR內容的所述渲染之前捕獲的圖像來識別用于針對多個不同信噪比SNR水平的所述參數化噪聲模型的參數。

9.根據權利要求8所述的方法，其中生成所述噪聲圖案包括：

識別所述第二圖像的信噪比SNR水平；

基于所述SNR水平來識別參數；以及

使用所述參數化噪聲模型和所述參數來生成所述噪聲圖案。

10.根據權利要求9所述的方法，其中識別所述SNR水平包括從圖像信號處理器ISP接收所述SNR水平。

11.根據權利要求9所述的方法，其中識別所述SNR水平包括使用評估所述第二圖像的機器學習模型來確定所述SNR水平。

12.根據權利要求1所述的方法，其中針對信噪比SNR范圍預先計算所述噪聲圖案，并且基于識別所述第二圖像的SNR水平，在運行時針對所述第二圖像查找所述噪聲圖案。

13.根據權利要求1所述的方法，其中渲染所述CGR內容包括將所述噪聲圖案平鋪在所述虛擬內容之上。

14.根據權利要求1所述的方法，其中渲染所述CGR內容包括所述第二圖像，所述CGR內容與所述第二圖像復合，或者所述CGR內容與第三圖像復合。