[發明專利]用于高效深度圖像變換的方法和設備

有效

• 申請號: 201580045709.6
• 申請日: 2015-09-04
• 公開（公告）號: CN106796718B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 丹尼爾·瓦格納;亞歷山德羅·穆洛尼
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/55
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 宋獻濤

本文中揭示了用于深度相機圖像重新映射的系統、設備和方法。可以接收來自深度相機的深度相機圖像并且可以確定深度相機的物理位置。所述深度相機的物理位置可以是相對于另一個物理位置確定的，例如，彩色相機的物理位置。所述深度相機圖像可以是根據與所述另一個物理位置相關聯的處理順序變換的。

相關申請的交叉參考

本申請主張2015年9月3日遞交的標題為“用于高效深度圖像變換的方法和設備”的第14/845,203號美國申請以及2014年9月5日遞交的標題為“用于高效深度圖像變換的方法和設備”的第62/046,860號美國臨時申請的權益，所述申請以引用的方式并入本文中。

技術領域

本文中所揭示的標的物大體上涉及深度相機輸出圖像處理。

背景技術

移動或便攜式裝置通常包含廣泛的特征集合以滿足各種各樣的使用需求。這些裝置可以包括多種多樣的用于記錄環境數據的傳感器，例如彩色圖像相機傳感器。另外，一些裝置還包括深度相機傳感器以俘獲用于場景的對象距離信息。對于一些應用(例如，擴增實境)，深度圖像信息可以用于映射環境中的3D對象。深度相機通常是放置在與彩色相機相比不同的但是附近的位置中的獨立相機。

因此，當深度相機和彩色相機在大致相同的時間觸發時，深度相機和相機傳感器通常從略微不同的視點俘獲圖像。在視點和其它因素(例如焦距、分辨率)中的細微的差異或在相機/傳感器特性中的其它差異意味著可能發生一些類別的轉變以便適當地將深度信息應用在彩色相機坐標系中。將深度信息應用于彩色相機坐標系是所期望的，這是因為擴增實境應用的輸出通常利用場景的彩色相機圖像作為用于擴增的基礎。

深度圖像可以由2D坐標系中的像素組成，其中每個像素表示深度值或距離值。可以將來自深度相機的深度信息映射到彩色相機以輔助擴增實境應用。

然而，擴增實境系統通常包括與彩色相機物理地隔開且不同于彩色相機的深度相機。因此，用于深度相機和彩色相機的相機視點將不是相同的匹配。舉例來說，深度相機可以放置在相對于彩色相機(例如，集成到移動電話或其它裝置中的)的左側、右側或某個方向。

由于視差效應，深度相機的深度圖可以具有用于在兩個不同深度處的兩個點的深度值，其中從彩色相機的角度，兩個點中較近的點遮擋較遠的點，并且因此彩色相機的圖像僅俘獲兩個點中較近的點。當嘗試將來自深度圖的數據集成到通過彩色相機拍攝的彩色圖像時，忽略此上文所描述的遮擋可產生輸出錯誤并且影響用戶體驗。

發明內容

本文中所揭示的實施例可涉及一種用于深度相機圖像變換的方法。所述方法可以包括接收來自深度相機的深度相機圖像，并且根據深度相機相對于另一個物理位置的物理位置確定處理順序，所述處理順序用于將深度相機圖像的點變換到在與另一個物理位置相關聯的另一個坐標系中的深度圖像中。所述方法還可以包括在不測試深度的情況下根據所確定的處理順序將深度相機圖像變換到另一個坐標系的坐標系中。

本文中所揭示的實施例還可以涉及具有執行深度相機圖像變換的指令的機器可讀取非暫時性存儲媒體。所述媒體可以包括接收來自深度相機的深度相機圖像并且根據深度相機相對于另一個物理位置的物理位置確定處理順序的指令，所述處理順序用于將深度相機圖像的點變換到在與另一個物理位置相關聯的另一個坐標系中的深度圖像中。所述媒體還可以包括在不測試深度的情況下根據所確定的處理順序將深度相機圖像變換到另一個坐標系的坐標系中的指令。

本文中所揭示的實施例還可以涉及一種包括用于深度相機圖像變換的裝置的設備。所述設備可以包括用于接收來自深度相機的深度相機圖像的裝置以及用于根據深度相機相對于另一個物理位置的物理位置來確定處理順序的裝置，所述處理順序用于將深度相機圖像的點變換到在與另一個物理位置相關聯的另一個坐標系中的深度圖像中。所述設備還可以包括用于在不測試深度的情況下根據所確定的處理順序將深度相機圖像變換到另一個坐標系的坐標系中的裝置。