[發明專利]基于獨立編碼的背景更新的視頻傳輸

有效

• 申請號: 201680006522.X
• 申請日: 2016-01-22
• 公開（公告）號: CN107211081B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: J·T·科內柳森;A·?？藘人?/a>;H·P·阿爾斯塔德;S·O·埃瑞克森;E·肖
• 申請（專利權）人: 哈德利公司
• 主分類號: H04N5/225
• 分類號: H04N5/225
• 代理公司: 北京市正見永申律師事務所 11497
• 代理人: 黃小臨;馮玉清

1.一種用于傳輸和呈現來自多個視場的場景的視頻的方法，包括：通過從所述視頻確定所述場景的靜態背景來初始化三維背景模型；通過與所述視頻獨立地對所述背景模型進行編碼來將所述場景的背景作為所述背景模型進行發送，其中，所述背景模型被增量地更新，并且其中，所述更新被進一步與所述視頻獨立地編碼和發送，并且其中，所述背景模型的增量更新通過輔助數據信道發送；以及通過將所述背景與所述視頻合并來在接收器處呈現增強的視頻。

2.根據權利要求1所述的方法，其中，所述接收器是VR/AR設備。

3.根據權利要求2所述的方法，還包括：對來自所述VR/AR接收器的視線方向的關注區域進行自學習；以及發送所述關注區域的高分辨率視頻，其中，通過將所述關注區域的所述高分辨率視頻與所述背景合并來創建所述增強的視頻。

4.一種用于傳輸和呈現來自多個視場的場景的視頻的系統，包括：i)發送器，所述發送器包括外部編碼器和核心編碼器，其中，所述外部編碼器適于接收所述視頻并分別地將顯著視頻以及增量地更新的三維背景和幾何比特流輸出到所述核心編碼器中，其中，所述核心編碼器適于輸出編碼比特流，并且其中，所述背景的增量更新通過輔助數據信道發送；以及ii)VR/AR接收器，所述VR/AR接收器包括核心解碼器和外部解碼器，其中，所述核心解碼器適于接收所述編碼比特流并且分別地將所述顯著視頻以及所述增量地更新的背景和幾何比特流輸出到所述外部解碼器中，其中，所述背景的增量更新通過輔助數據信道接收，并且其中，所述外部解碼器適于合并所述顯著視頻以及所述增量地更新的背景和幾何比特流，從而呈現所述場景的增強的視頻。

5.根據權利要求4所述的系統，其中，所述外部編碼器包括背景估計單元，所述背景估計單元適于通過從所述視頻確定所述場景的靜態背景來初始化三維背景模型，并且以比所述視頻的比特率更低的比特率增量地更新所述背景模型。

6.根據權利要求4所述的系統，還包括：用于捕獲所述場景的視頻源。

7.根據權利要求6所述的系統，其中，所述視頻源包括具有部分重疊的視場的一個或多個攝像機。

8.根據權利要求7所述的系統，其中，所述攝像機是移動攝像機。

9.根據權利要求8所述的系統，還適于估計所述場景的移動部分和靜止部分。

10.根據權利要求9所述的系統，其中，所述外部編碼器包括背景估計單元，所述背景估計單元適于基于所述場景的所述靜止部分生成三維背景模型，并且以比所述視頻的比特率更低的比特率增量地更新所述背景模型。

11.根據權利要求8所述的系統，其中，所述移動攝像機是云臺變焦(PTZ)攝像機。

12.根據權利要求11所述的系統，其中，所述VR/AR接收器適于對來自其視線方向的關注區域進行自學習，并且其中，所述一個或多個PTZ攝像機適于捕獲所述關注區域的高分辨率視頻。

13.一種用于傳輸場景的視頻的方法，包括：通過從所述視頻確定所述場景的靜態背景來初始化背景模型；以及通過與所述視頻獨立地對所述背景模型進行編碼來將所述場景的背景作為所述背景模型進行發送，其中，所述背景模型被增量地更新，并且其中，所述更新被進一步與所述視頻獨立地編碼和發送，并且其中，所述背景模型的增量更新通過輔助數據信道發送。

14.根據權利要求13所述的方法，還包括：通過將所述背景與所述視頻合并來在接收器處產生增強的視頻。

15.根據權利要求14所述的方法，其中，以比所述視頻的比特率更低的比特率對所述背景模型進行更新和發送。