[發明專利]通過使用多層移動來促進立體視覺的方法和裝置

在審

• 申請號: 201780067543.7
• 申請日: 2017-08-25
• 公開（公告）號: CN109983504A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 袁博地;M·維爾丹迪
• 申請（專利權）人: 諾基亞技術有限公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/136
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

提供了一種用于通過使用多層移動來促進立體視覺的方法、裝置和計算機程序產品。一個示例方法包括接收第一RGB圖像和第二RGB圖像，每個RGB圖像從不同位置被捕獲，生成相應的深度圖像，對深度圖像執行第一分割，對RGB圖像執行第二分割，產生第一對象掩模和第二對象掩模，拼合背景層以形成背景層，生成一系列圖像，該一系列圖像包括第一圖像和第二圖像，該第一圖像表示來自第一位置的視圖，該第二圖像表示來自第二位置的視圖，該一系列圖像展示出對象層的移動，該對象層的移動以比背景層的移動高的速度進行。

技術領域

本發明的實施例總體上涉及利用圖像處理、立體視覺、圖像分割技術來抵消遮擋的影響，并且尤其涉及通過使用多層移動來促進立體視覺的各種方法、裝置和計算機程序產品。

背景技術

雖然傳統技術可能試圖利用場景全景來構建立體視覺視圖，但是在視圖移動期間發生遮擋，并且因此，場景缺乏現實。本申請提供了考慮到遮擋效果而從不同位置拍攝的兩個場景之間的視圖的插值，這將導致生成更現實的場景。

圖5示出了當使用傳統技術生成場景時展示出遮擋的圖。例如，當位置A處的圖像捕獲設備將捕獲兩個球體重疊的圖像時，而在位置B處，圖像捕獲設備將捕獲兩個球體不重疊的圖像。圖6A示出了位置A中的兩個重疊球體的圖像，而圖6B示出了如下圖像：其中如果使用全景圖像，當用戶移動到位置B時兩個球體仍將具有重疊并且唯一的變化是全景圖像的視圖會移動。圖2B中示出的視圖缺乏現實。

在這方面，已經確定了用于改進已知和現有系統的領域。通過所應用的努力、獨創性和創新，已經實現了用于改進這種系統的解決方案，并且這些解決方案結合本發明的實施例進行描述。

發明內容

因此，根據本發明的示例實施例提供了一種用于通過使用多層移動來促進立體視覺的方法、裝置和計算機程序產品。也就是說，本發明的實施例旨在通過將圖像切割成若干層并且以不同的速度移動不同的層來解決立體視覺中的遮擋問題，這可以給出真實世界中的移動視圖的相同或相似的效果。

在一些實施例中，本文中描述的方法的優點在于可以固定立體視覺中的遮擋的問題。此外，本文中描述的實施例需要低計算復雜度。

在一些實施例中，可以提供一種方法，該方法包括：接收至少第一圖像和第二圖像，第一圖像包括從第一位置捕獲的對象，第二圖像包括從第二位置捕獲的對象，第一位置不同于第二位置,接收至少第一深度圖像和第二深度圖像，第一深度圖像對應于第一圖像，第二深度圖像對應于第二圖像；引起第一分割，第一分割是基于預定義閾值而對第一深度圖像和第二深度圖像執行的，第一分割產生圖像集合，該圖像集合包括第一對象掩模和第二對象掩模，引起第二分割，第二分割是利用第一對象掩模和第二對象掩模作為約束而對第一圖像和第二圖像執行的，第二分割產生片段集合，該片段集合包括第一對象圖像、第二對象圖像、第一背景層和第二背景層，使得第一背景層和第二背景層的拼合以形成背景層，以及生成一系列圖像，該一系列圖像包括第一圖像和第二圖像，第一圖像表示來自第一位置的視圖，第二圖像表示來自第二位置的視圖，該一系列圖像展示出對象層的移動，該對象層的移動以比背景層的移動高的速度進行。

在一些實施例中，第一圖像包括利用背景層內插的第一對象圖像，并且第二圖像包括利用背景層內插的第二對象圖像。在一些實施例中，第二分割是根據最大流最小切割算法被執行的。

在一些實施例中，該方法還可以包括第一孔填充步驟和第二孔填充步驟，第一孔填充步驟是由第一背景層和第二背景層的拼合導致的，第二孔填充步驟包括：實現用于對與附近的有效像素相關聯的值進行平均的過程，并且將平均設置為黑色區域中的像素的新值。

在一些實施例中，第一分割步驟還包括：分別根據第一圖像和第二圖像生成第一深度圖像和第二深度圖像。