[發明專利]延遲數據計算方法、圖像融合方法及電子設備

在審

• 申請號: 202310454627.3
• 申請日: 2023-04-25
• 公開（公告）號: CN116385710A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 佟欣
• 申請（專利權）人: 北京優酷科技有限公司
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V10/80
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本申請實施例提供了一種延遲數據計算方法、圖像融合方法及電子設備。延遲數據計算方法包括：獲取目標采集圖像和連續多幀回傳數據；采集圖像為對顯示有校準標記符的屏幕進行拍攝得到的；回傳數據包括動捕數據或焦距數據；對目標采集圖像進行標記符檢測，得到校準標記符在目標采集圖像中的實際位置；計算各幀回傳數據對應的候選位置，候選位置為基于各幀回傳數據計算得到的校準標記符在目標采集圖像中的位置；根據實際位置和候選位置之間的差異，從多幀回傳數據中確定目標回傳數據，并基于目標回傳數據得到延遲數據；延時數據包括動態延遲數據或變焦延遲數據。本申請實施例，實現了延遲數據的自動化校準，并且得到的延遲數據也更為精準。

技術領域

本申請實施例涉及計算機技術領域，尤其涉及一種延遲數據計算方法、圖像融合方法、電子設備及計算機存儲介質。

背景技術

XR(Extended?Reality,擴展現實)虛擬拍攝是通過將經虛擬引擎渲染得到的渲染畫面(上屏圖像)投屏到LED屏幕上顯示，然后演員利用LED屏幕作為背景進行表演，圖像采集設備(如相機)同時拍攝演員和LED屏幕，之后，再將拍攝到的相機畫面(采集圖像)與渲染畫面合成，從而將真實演員置身于虛擬場景中，達到在影棚內拍攝外景或科幻背景的效果。

為保證最終合成的圖像不出現撕裂等問題，在圖像合成過程中，要基于拍攝采集圖像時相機的焦距信息、相機的位置信息(動捕數據)對渲染畫面進行視角調整，再將調整后得到的圖像與相機畫面合成。在實際拍攝中，相機畫面、動捕數據和焦距數據的回傳通常是各自獨立的，且均會有不同的設備延遲，因此，存在三種不同的延遲：靜態延遲、動態延遲，以及變焦延遲。其中，靜態延遲，是指在相機位置和焦距不變的情況下，從引擎渲染畫面，到獲取到相機回傳的相機畫面的延遲；動態延遲，是動捕數據與相機畫面回傳不同步帶來的延遲；變焦延遲，是指相機焦距數據與相機畫面回傳不同步帶來的延遲。

相關技術在進行延遲數據計算時，通常是由操作人員自行輸入延遲數據，再基于輸入的延遲數據從連續回傳的多幀候選回傳數據(候選渲染畫面、候選動捕數據及候選焦距數據)中確定出對應的一幀回傳數據作為目標回傳數據，進而基于目標回傳數據對相機畫面進行合成，再通過人眼觀察合成圖像中是否存在撕裂現象，經過多次上述嘗試性地輸入，根據合成效果從中篩選出最終的延遲數據。上述方式主要依靠人工多次輸入并進行嘗試性篩選，無法實現延遲數據的自動計算；另外，篩選過程主要靠人眼判斷合成效果，因此，最終得到的延遲數據可能不夠精準。

發明內容

有鑒于此，本申請實施例提供一種延遲數據計算方案，以至少部分解決上述問題。

根據本申請實施例的第一方面，提供了一種延遲數據計算方法，包括：

獲取目標采集圖像和連續多幀回傳數據；所述目標采集圖像為從與所述回傳數據同步回傳的連續多幀采集圖像中確定出的圖像；所述采集圖像為對顯示有校準標記符的屏幕進行拍攝得到的；所述回傳數據包括動捕數據或焦距數據；

對所述目標采集圖像進行標記符檢測，得到所述校準標記符在所述目標采集圖像中的實際位置；

計算各幀回傳數據對應的候選位置，所述候選位置為基于各幀回傳數據計算得到的所述校準標記符在所述目標采集圖像中的位置；

根據所述實際位置和所述候選位置之間的差異，從多幀回傳數據中確定目標回傳數據，并基于所述目標回傳數據得到延遲數據；所述延時數據包括動態延遲數據或變焦延遲數據。

根據本申請實施例的第二方面，提供了一種圖像融合方法，包括：

接收待融合采集圖像；

接收回傳的連續多幀引擎渲染圖像；基于所述待融合采集圖像的接收時間信息和靜態延遲數據，從所述連續多幀引擎渲染圖像中確定待融合渲染圖像；

接收回傳的連續多幀動捕數據；基于所述待融合采集圖像的接收時間信息和動態延遲數據，從所述連續多幀動捕數據中確定目標動捕數據；