[發(fā)明專利]使用光流生成中間視圖的方法和計算機可讀存儲介質

有效

• 申請?zhí)枺?/td>: 201780035010.0
• 申請日: 2017-04-06
• 公開（公告）號: CN109314753B
• 公開（公告）日: 2020-05-26
• 發(fā)明（設計）人: 布里安·基思·卡布拉爾;福里斯特·塞繆爾·布里格斯;阿爾貝特·帕拉·波索;皮特·瓦伊達
• 申請（專利權）人: 臉譜公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/222;H04N5/247
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

畫布生成系統(tǒng)基于描述場景的一組原始相機視圖生成場景的畫布視圖，例如，以便在虛擬現(xiàn)實中重新創(chuàng)建場景。可以基于從一組原始相機視圖生成的一組合成視圖生成畫布視圖。例如，可以基于多個原始相機視圖上的光流通過偏移和混合相關原始相機視圖生成合成視圖。可以使用迭代方法生成光流，該迭代方法獨立優(yōu)化用于相機視圖的每個像素的光流矢量并且將光流中的變化傳播至相鄰的光流矢量。

背景技術

本公開內容總體涉及為虛擬現(xiàn)實耳機生成畫布視圖，并且更具體地，涉及從通過相機捕獲的圖像生成畫布視圖。畫布視圖表示在虛擬現(xiàn)實中重新創(chuàng)建場景的全景廣角視圖，并且可以與其他畫布視圖匹配以給出該場景的3D立體效果。用于畫布視圖生成的現(xiàn)有技術可以緩慢操作，例如，需要用戶手動縫合或者其他輸入，并且當處理源相機視圖中的誤差時可能遇到問題，諸如，相機視圖之間不同的亮度或顏色。

發(fā)明內容

本發(fā)明的實施方式可以基于描述例如通過圖像捕獲系統(tǒng)的相機捕獲的場景并且描述通過多個相機捕獲的場景的一組原始相機視圖或圖像來生成場景的畫布視圖。可以基于使畫布視圖的每個區(qū)域與基于合成位置的合成視圖的區(qū)域相關聯(lián)的第一映射以及使相機視圖的區(qū)域與合成視圖的區(qū)域相關聯(lián)的第二映射生成畫布視圖。可以結合生成的映射以生成使畫布視圖的每個區(qū)域與一組相機視圖的一個或多個相機視圖的區(qū)域相關聯(lián)的結合的映射，然后可以應用于相機視圖以生成畫布視圖。

例如，可以基于表示一個或多個共有對象共享的場景的圖像的第一和第二相機視圖生成合成視圖。使第一和第二相機視圖之間的像素相關聯(lián)的光流可用于使第一和第二相機視圖有關。基于該光流，第一和第二相機視圖可以“偏移”為各自近似期望的合成視圖。然后可以將合成視圖的這兩個近似一起混合或平均(即，像素色值)以生成合成視圖。

在合成視圖的生成期間，可以使用光流使多個相機視圖上的對應點相關聯(lián)。例如，光流可以使表示為各自使兩個或更多個對應像素相關聯(lián)的一組光流矢量的相機視圖之間的像素相關聯(lián)。例如，可以基于迭代方法生成光流，該迭代方法獨立優(yōu)化用于相機視圖的每個像素的光流矢量。例如，通過生成用于每個像素的一組光流建議，分析每個光流建議并且基于改善光流的最優(yōu)化的該組光流建議的光流建議更新用于每個像素的光流。在一些實現(xiàn)過程中，可以將光流矢量的變化傳播至相鄰的光流矢量。

根據本發(fā)明的實施方式具體公開在所附權利要求中，其中，在一個權利要求類別(例如，方法)中提到的任何特征也可以在另一個權利要求類別(例如，系統(tǒng))中要求保護。僅為了形式原因，選擇所附權利要求中的從屬權利要求、后向引證或交叉引證。然而，也可以被要求保護故意后向引證對任何上述權利要求(具體地，多個從屬權利要求)導致的任何主題內容，以便權利要求及其特征的任何組合被公開并且不管在所附權利要求中選擇的從屬權利要求都可以要求保護。可以要求的主題不僅包括所附權利要求中闡述的特征的組合，而且還包括權利要求中的特征的任何其他組合，其中，權利要求中提及的每個特征可以與權利要求中的任何其他特征或其他特征的組合相結合。此外，本文中描述或描繪的任何實施方式和特征可以在單獨權利要求中和/或與本文中描述或描繪的任何實施方式或特征或者與所附權利要求的任何特征的任何組合中要求保護。

在實施方式中，可提供計算機實現(xiàn)方法，該方法包括：

接收第一相機視圖和第二相機視圖，每個相機視圖表示通過相機捕獲并且與位置相關聯(lián)的圖像，相機視圖是從該位置捕獲的；

對于位于與第一相機視圖相關聯(lián)的位置和與第二相機視圖相關聯(lián)的位置之間的合成視圖識別合成視圖位置；

基于合成視圖位置將第一相機視圖相對于與第一相機視圖相關聯(lián)的位置偏移為第一合成視圖；

基于合成視圖位置將第二相機視圖相對于與第二相機視圖相關聯(lián)的位置偏移為第二合成視圖；

并且

混合第一合成視圖和第二合成視圖以形成合成視圖。