[發明專利]用于360度立體視頻的無縫左/右視圖

有效

• 申請號: 201110443455.7
• 申請日: 2011-12-16
• 公開（公告）號: CN102595168A
• 公開（公告）日: 2012-07-18
• 發明（設計）人: H·扎爾加坡;B·沃特;江勝明;M·龍迪內利
• 申請（專利權）人: 微軟公司
• 主分類號: H04N13/02
• 分類號: H04N13/02;H04N13/00;G03B37/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳斌

技術領域

本發明涉及圖像處理，尤其涉及360度立體視頻的無縫左/右視圖。

背景技術

人類視覺使用了各種線索來感知真實世界中的三維(3D)深度。這些線索之一是視網膜像差，其中瞳孔間距導致左眼和右眼接收到關于世界的略微不同的投影。立體成像嘗試通過向每個眼睛呈現略微不同的圖像來創建人為的3D深度感知。從不同的有利位置捕捉兩個圖像，所述不同的有利位置彼此隔開一個距離，該距離近似于人眼的瞳孔間距。假定圖像被正確地同步且有利位置近似瞳孔間距，則大腦以創建圖像中深度的幻象的方式來處理這些圖像。

常規的3D相機包括用于生成一個場景的兩個視圖的一對隔開的圖像傳感器。盡管適用于場景的正視圖或場景的某一其他部分，但是常規的3D相機不能獲得場景的全景360度視圖。這點的原因至少在于：在圍繞360度全景的某一視角，第一圖像傳感器會捕捉第二圖像傳感器的視圖，反之亦然，導致了360度視圖內的遮擋。另一選項是旋轉這對圖像傳感器以便在沒有任何相機遮擋的情況下捕捉完全的360度視圖，但該技術將不能正確地捕捉動態場景。

發明內容

本文公開一種用于將來自三個或更多個圖像傳感器的第一和第二組圖像縫合在一起的方法。第一組圖像被組合為全景的合成左視圖，而第二組圖像被組合為全景的合成右視圖。當適當地縫合在一起時，左右視圖可作為全景的立體視圖呈現。應用縫合算法，該縫合算法去除由所組合的左圖像中和所組合的右圖像中的視差帶來的任何差別。

該縫合算法首先基于所檢測的由視差在該重疊區域中的對象間帶來的差異來計算光學流。然后該算法從左向右和從右向左交叉淡化兩遍，以將該重疊區域中來自兩個視圖的對象對齊。為了防止拉伸后的圖像中的間隙，當拉伸該圖像時應用經加權的因子。因此，當從左向右拉伸時，用在該重疊的左邊緣處的經加權因子0和在該重疊的右邊緣處的經加權因子1來執行該交叉淡化。當從右向左拉伸時，用在該重疊的右邊緣處的相同的經加權因子0和在該重疊的左邊緣處的相同的經加權因子1來執行該交叉淡化。然后在兩個方向上使用經加權的交叉淡化來使該圖像變形。然后可對變形后的圖像的左半部和右半部應用拉普拉斯混合以平滑掉任何剩余差別。

在一個示例中，本技術涉及一種從多個圖像傳感器形成立體圖像的方法，該方法包括如下步驟：(a)將來自不同圖像傳感器的第一組圖像組合起來，該第一組圖像被用作該立體圖像中的左側視角且該第一組圖像是在具有該第一組圖像的重疊的情況下組合的；(b)將來自該不同圖像傳感器的第二組圖像組合起來，該第二組圖像被用作該立體圖像中的右側視角且該第二組圖像是在具有該第二組圖像的重疊的情況下組合的；(c)移除該第一和第二組圖像的重疊區域中的一對圖像之間的縫的出現，該步驟(c)包括如下步驟：i)通過將第一圖像在第一方向上在該重疊的第一邊界處拉伸0倍而在相對邊界處拉伸1倍而將該重疊區域中來自兩個不同圖像的對象對齊，以及ii)通過將第二圖像在與該第一方向相反的第二方向上在該重疊的第二邊界處拉伸0倍而在相對邊界處拉伸1倍而將該重疊區域中來自該兩個不同圖像的對象對齊。

在一個進一步示例中，本技術涉及一種從多個圖像傳感器形成立體圖像的方法，該方法包括如下步驟：(a)將具有視差的第一組圖像組合起來，該第一組圖像被用作該立體圖像中的左側視角且該第一組圖像是在具有該第一組圖像的重疊的情況下組合的；(b)將具有視差的第二組圖像組合起來，該第二組圖像被用作該立體圖像中的右側視角且該第二組圖像是在具有該第二組圖像的重疊的情況下組合的；(c)移除該第一和第二組圖像的重疊區域中的一對圖像之間的縫的出現，該步驟(c)包括如下步驟：i)使用重疊區域中的對應對象之間的水平差異來計算光學流，ii)使用加權因子從左到右交叉淡化，該因子從左到右增加，iii)使用加權因子從右到左交叉淡化，該因子從右到左增加，iv)使用在步驟(c)(ii)和(c)(iii)中修改的流來變形，以及v)在該重疊區域的左半部和右半部之間應用拉普拉斯混合。