[發明專利]用于將用戶特定內容融合到視頻制作中的方法和系統

有效

• 申請號: 201880053397.7
• 申請日: 2018-06-27
• 公開（公告）號: CN111357295B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 蓋爾·奧茲
• 申請（專利權）人: 皮克索洛特公司
• 主分類號: H04N21/236
• 分類號: H04N21/236
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 齊加文;楊明釗

1.一種將觀看者特定圖形內容融合到被廣播到多個觀看者終端的視頻內容中的方法，所述方法包括：

由視頻處理服務器接收包括多個幀的視頻內容，其中所述多個幀中的每一個表示包括背景表面和感興趣對象的場景；

由所述視頻處理服務器為所述多個幀的幀子集的每個幀導出虛擬攝像機模型，所述虛擬攝像機模型將相應幀的每個像素與在所述場景中的與相應幀的像素相關聯的真實世界地理位置相關聯；

由所述視頻處理服務器為所述幀子集的每一幀生成前景掩模，所述前景掩模包括與所述感興趣對象相關的像素；

由所述視頻處理服務器向所述多個觀看者終端中的至少一些廣播所述視頻內容，其中所述幀子集的每一幀伴隨有包括所述相應幀的虛擬攝像機模型和前景掩模的元數據；以及

在所述視頻內容的所述幀子集的幀的至少部分中，由所述多個觀看者終端中的至少一些使用所述相應幀的虛擬攝像機模型用與其觀看者終端相關聯的觀看者特定圖形內容的像素替換被包含在所述背景表面的至少一個預定內容插入區域內的所述相應幀中的除了由所述相應幀的前景掩模指示的像素以外的所有像素。

2.根據權利要求1所述的方法，還包括由所述視頻處理服務器接收至少一個視頻流，并且進一步基于其所述至少一個視頻流來生成所述視頻內容。

3.根據權利要求2所述的方法，還包括由所述視頻處理服務器在直播事件設置中或者在體育賽事出現之后選擇性地創建所述至少一個視頻流的部分的組合和/或削減，以從而生成所述視頻內容。

4.根據權利要求1-3中的任一項所述的方法，還包括由所述視頻處理服務器基于生成相應的虛擬攝像機模型已被導出的幀的攝像機的物理參數導出虛擬攝像機模型的子集中的每一個。

5.根據權利要求4所述的方法，還包括由所述視頻處理服務器使用下列項中的至少一個來確定相應攝像機的物理參數：位于所述攝像機上的傳感器、計算機視覺方法和/或通過使用多個攝像機進行的所述場景的全景捕獲。

6.根據權利要求1-5中的任一項所述的方法，還包括由所述視頻處理服務器基于視頻內容的所述多個幀中的包括與所述場景的所述背景表面相關的像素的至少一些幀來生成背景圖像。

7.根據權利要求6所述的方法，還包括由所述視頻處理服務器從所述視頻內容的所述幀子集的每一幀減去所述背景圖像，以產生前景掩模的相應子集。

8.根據權利要求1-5中的任一項所述的方法，還包括由所述視頻處理服務器檢測并移除在所述視頻內容的所述幀子集的幀中的與所述背景表面相關的所有像素，以從而生成前景掩模圖像的相應子集。

9.根據權利要求1-8中的任一項所述的方法，還包括由所述視頻處理服務器接收所述內容插入區域作為輸入，所述內容插入區域包括將用觀看者特定內容替換的涉及在所述場景的所述背景表面上的真實世界地理位置的信息。