[發明專利]渲染對象以匹配相機噪聲

有效

• 申請號: 202010102134.X
• 申請日: 2020-02-19
• 公開（公告）號: CN111612915B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: T·霍爾;D·庫爾茨
• 申請（專利權）人: 蘋果公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 張寧

本公開涉及渲染對象以匹配相機噪聲。本文所公開的各種具體實施渲染具有噪聲的虛擬內容，所述噪聲類似于或以其他方式更好地匹配在與虛擬內容相組合的圖像中發現的噪聲。一些具體實施涉及識別圖像的噪聲數據，基于所述噪聲數據創建參數化噪聲模型，利用所述參數化噪聲模型生成近似圖像或另一圖像的噪聲的噪聲圖案，以及渲染包括所述圖像和具有基于所述噪聲圖案添加的噪聲的虛擬內容的內容。

相關申請的交叉引用

本申請要求2019年2月25日提交的美國臨時申請序列號62/809,815的權益，該申請全文以引用方式并入本文。

技術領域

本公開整體涉及在電子設備上提供內容，并且具體地涉及用于提供內容的系統、方法和設備，所述內容包括圖像內容和具有類似噪聲的虛擬內容。

背景技術

一些增強現實(AR)系統捕獲視頻流，并將該視頻流的圖像與虛擬內容組合。該視頻流的圖像可能非常嘈雜，尤其是在較低光線條件下，其中某些ISO設置用于提高圖像亮度。相比之下，由于虛擬內容渲染器不受圖像捕獲設備的物理限制的影響，因此虛擬內容中有很少或沒有噪聲。在將真實內容的圖像與虛擬內容組合在一起的AR內容中，可在真實對象上看到噪聲，但虛擬內容中通常缺少噪聲。虛擬內容上的噪聲外觀(例如，粒度、強度、其在顏色通道之間的屬性變化等)的缺少可導致虛擬內容顯現為浮動、看起來是分離的、突出的，或換句話講無法與真實內容一致。例如，圖4示出了內容400，其中真實對象402具有嘈雜外觀，并且虛擬對象404具有顯著較小的嘈雜外觀。現有系統和技術當在AR中呈現具有圖像內容的虛擬內容以及呈現將虛擬內容與真實圖像內容組合在一起的其他內容時未充分考慮圖像噪聲。

發明內容

如上所述，現有系統和技術在呈現具有所捕獲的圖像內容的虛擬內容時未充分考慮圖像噪聲。本文所公開的各種具體實施包括用于渲染具有噪聲的虛擬內容的設備、系統和方法，所述噪聲類似于或以其他方式更好地匹配在與虛擬內容相組合的圖像中發現的噪聲。

在一些具體實施中，電子設備使用處理器來執行方法。該方法涉及識別由圖像捕獲設備捕獲的第一圖像的噪聲數據。該方法基于該噪聲數據創建參數化噪聲模型。在一些具體實施中，通過識別噪聲模型的參數來創建參數化噪聲模型，使得噪聲模型輸出類似于噪聲數據或以其他方式與噪聲數據匹配。在創建適當的參數化噪聲模型(例如，通過識別高斯混合模型、多項式表示、參數化直方圖等的適當參數)之后，該方法使用參數化噪聲模型生成近似第二圖像的噪聲的噪聲圖案，并渲染包括虛擬內容的計算機生成現實(CGR)內容，該虛擬內容具有基于該噪聲圖案添加的噪聲。該內容中的噪聲相對一致，例如，對于真實對象和虛擬對象都是相對相似的。CGR內容可包括第二圖像或與第二圖像復合，或者CGR內容可與第三圖像復合。

在一些具體實施中，第二圖像是第一圖像，例如，相同圖像用于創建參數化噪聲模型并包括在CGR內容中。在這些具體實施(在本文稱為“實時參數生成”具體實施)中，參數化噪聲模型是實時創建的，例如在CGR體驗期間，并且不需要先前學習階段。