[發明專利]用于生成光流的方法和系統

有效

• 申請號: 201780035313.2
• 申請日: 2017-03-27
• 公開（公告）號: CN109314752B
• 公開（公告）日: 2020-03-03
• 發明（設計）人: 布里安·基思·卡布拉爾;福里斯特·塞繆爾·布里格斯;阿爾貝特·帕拉·波索;皮特·瓦伊達
• 申請（專利權）人: 臉譜公司
• 主分類號: H04N5/247
• 分類號: H04N5/247;H04N5/222;H04N5/262
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 陸建萍;楊明釗

一種畫布生成系統，基于描述場景的一組原相機視圖生成場景的畫布視圖，例如重新創建虛擬現實場景?；趶囊唤M原相機視圖生成的一組合成視圖能生成畫布視圖。例如，通過基于跨多個原相機視圖的光流位移并且混合相關的原相機視圖能生成合成視圖。使用單獨優化用于相機視圖的每個像素的光流矢量并且將光流的變化傳播至相鄰的光流矢量的迭代方法能生成光流。

背景技術

本公開整體涉及用于虛擬現實頭盔的畫布視圖的生成，并且更具體地，涉及來自通過相機捕獲的圖像的畫布視圖生成。畫布視圖代表了重新創建虛擬現實場景的全景廣角視圖，并且能與其他畫布視圖配對而給出場景的3D立體效果。關于畫布視圖生成的現有技術可能運行緩慢，例如，要求來自用戶的手動拼接或其他輸入，并且當處理諸如相機視圖之間的不同亮度或色彩等源相機視圖中的差異時，現有技術會遇到問題。

發明內容

本發明的實施方式能基于描述例如通過圖像捕獲系統中的相機捕獲的場景和描述通過多個相機捕獲的場景的圖像或一組原相機視圖生成場景的畫布視圖?；诤铣傻奈恢脤嫴家晥D中的每個區域與合成視圖的區域相關聯的第一映射和將相機視圖的區域與合成視圖的區域相關聯的第二映射能生成畫布視圖。能夠對生成的映射進行組合，以生成將畫布視圖中的每個區域與該組相機視圖中的一個或多個相機視圖的區域相關聯的組合映射，然后，對相機視圖應用組合映射，以生成畫布視圖。

例如，基于代表共享一個或多個共同對象的場景的圖像的第一相機視圖和第二相機視圖能生成合成視圖。使用在第一相機視圖與第二相機視圖之間關聯用于像素的光流能將第一相機視圖與第二相機視圖關聯起來。基于光流，第一相機視圖與第二相機視圖能“位移”至各自接近所希望的合成視圖。然后，能一起混合或均化合成視圖的兩個接近(即，像素色彩值)，以生成合成視圖。

在合成視圖的生成過程中，能使用關聯多個相機視圖上的對應點的光流。例如，表示為一組光流矢量(各自關聯兩個或多個對應的像素)的光流能關聯相機視圖之間的像素。例如，基于單獨優化相機視圖中的每個用于像素的光流矢量的迭代方法能生成光流。例如，通過針對每個像素生成一組光流提議、分析每個光流提議并且基于改善光流的優化的該組光流提議中的一光流提議更新光流。在一些實現方式中，能夠將光流矢量的變化傳播至相鄰的光流矢量。

根據本發明的實施方式具體在涉及方法、系統、存儲介質和計算機程序產品的所附權利要求中公開，其中在一個權利要求類別(例如，方法)中提到的任何特征可以在另一個權利要求類別(例如，系統)中要求保護。所附權利要求中的從屬關系或引用關系僅出于形式原因而被選擇。然而，還可以要求保護任何先前權利要求(特別是多個從屬關系)的有意引用而產生的任何主題，使得公開并且可以要求保護權利要求及其特征的任何組合，而不管在所附權利要求中選擇的從屬關系如何。可被要求保護的主題不僅包括所附權利要求中給出的特征的組合，而且包括權利要求中的特征的任意其他組合，其中，權利要求中提及的每個特征可與權利要求中的任意其他特征或者其他特征的組合進行組合。此外，本文中描述或描繪的任何實施方式和特征可以在單獨的權利要求中被要求保護和/或與本文中描述或描繪的任何實施方式或特征或者與所附權利要求的任何特征的任何組合中要求保護。

在根據本發明的實施方式中，一種用于生成光流的方法，方法可以包括：

接收第一相機視圖和第二相機視圖，每個相機視圖代表通過相機捕獲的圖像并且與捕獲相機視圖所處的位置相關聯；

初始化將第一相機視圖中的點與第二相機視圖中的對應點進行匹配的光流；

針對第一相機視圖中的每個像素，優化用于該像素的光流，其中，優化用于像素的光流包括：

針對該像素生成一組光流提議；并且

分析每個光流提議并且基于所述一組光流提議中的一光流提議更新該用于像素的光流。

光流可以是將相機視圖中的每個像素與光流矢量相關聯的矢量場，光流矢量給出像素與另一相機視圖中的對應像素之間的位移。