[發明專利]實現交互特效的系統和方法

有效

• 申請號: 201580067465.1
• 申請日: 2015-12-09
• 公開（公告）號: CN107005658B
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 吳明權
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N19/50;H04N19/46
• 代理公司: 44202 廣州三環專利商標代理有限公司
• 代理人: 郝傳鑫;熊永強<國際申請>=PCT/CN

方法和系統在視頻流媒體中實現了有效特效。在一個實施例中，裝置根據解碼過程對視頻幀進行解碼實現特效。所述解碼過程包括：訪問多個視頻流(其中，每個流源自攝像機陣列的相應攝像機)；解碼來自所述多個視頻流的幀。來自第一攝像機的第一流包括：基于所述第一流中的預測(P)幀編碼的第一主特效預測(SP)幀；以及基于來自第二攝像機的第二流中所包括的主特效預測(SP)幀編碼的第一輔特效預測(SP)幀。所述方法還包括使用主輔特效預測(SP)幀來渲染特效。

技術領域

本發明實施例大體涉及視頻特效領域。

背景技術

數字計算機、計算器、音頻設備、視頻設備和電話系統等許多電子技術有助于在商業、科學、教育和娛樂等大多數領域中分析和傳送數據，從而提高生產力并降低成本。系統通常涉及在帶寬有限的通信網絡上傳送大量視頻信息。傳統的通信方法經常嘗試通過各種編碼方案來減少或壓縮信息。然而，傳統的編碼方案的嘗試可能是存在限制且存在問題的(例如，對特效的嘗試等)。

雖然對于視頻和通信編碼的傳統嘗試可減少通過網絡傳送的信息量，但是它們通常帶來很大的處理開銷。處理開銷可涉及或占據大量的處理資源，從而影響性能。一些方案嘗試編碼/解碼視頻流中的幀，且通常涉及來自前一幀的信息，用于編碼/解碼后一幀。從一個視頻流變為另一個視頻流的傳統嘗試通常涉及在新流的開始點或定義的點處再次執行編碼操作。這些方法可能存在問題。

近年來，互聯網上的視頻流媒體很流行。各種互聯網流媒體協議(例如，HTTP等)利用現有的互聯網基礎設施，通常容易穿透NAT和防火墻。然而，傳統視頻流媒體通常具有嚴格的帶寬和延遲要求，這使得公共互聯網上保證流媒體服務質量(quality of service，簡稱QoS)非常具有挑戰性，因為網絡狀況經常不斷變化。對于某些視頻流媒體應用，例如運動、娛樂表演、遠程醫療和遠程教育，人們可能對其特效感興趣，例如凍結(例如，子彈時間等)和掃描。然而，在互聯網上實現特效是具有挑戰性的。已對自適應流媒體技術提出了各種嘗試(例如，包括HTTP直播流(Apple HTTP live streaming，簡稱HLS)和Microsoft平滑流等)，然而現有的自適應流方法或嘗試(例如，HTTP直播流、平滑流和DASH等)通常不在其方案中提供指定的特效。

發明內容

本發明描述了在視頻流媒體中實現有效特效的方法和系統。在一個實施例中，一種裝置包括：處理器，其通過根據解碼過程或方法對視頻幀進行解碼來實現特效；存儲器，其存儲與所述特效的渲染相關的視頻信息。存儲器也存儲用于處理器實現特效(例如，凍結時間特效和掃描特效等交互特效)的指令。在至少一種實現方式中，渲染視頻的過程或方法包括：訪問由攝像機陣列捕捉的多個視頻流(其中，每個流源自攝像機陣列的相應攝像機)；解碼來自所述多個視頻流的第一流的幀，其中，所述第一流來自第一攝像機。示例性第一流包括：獨立于其他幀進行解碼的初始(I)幀；基于所述第一流中的其他幀解碼的預測(P)幀；基于所述第一流中的所述預測(P)幀編碼的第一主特效預測(SP)幀；基于所述多個視頻流的第二流中所包括的主特效預測(SP)幀編碼的第一輔特效預測(SP)幀，其中，所述第二流來自第二攝像機。所述方法還包括：使用所述第一流的所述主特效預測(SP)幀和所述第二流的第一輔特效預測(SP)幀來渲染特效。應當理解，可能存在各種攝像機陣列設置方式。例如，第一和第二攝像機在攝像機陣列內以圓形或直線設置方式彼此相鄰。

在一種示例性實現方式中，所述渲染特效包括基于所述第一流的所述主特效預測(SP)幀和所述第二流的所述第一輔特效預測(SP)幀生成要顯示的幀。在一種實現方式中，渲染多個顯示幀是基于第二流的第一輔特效預測(SP)幀和第二流的多個預測(P)幀的。在一個實施例中，所述第一流還包括第二輔特效預測(SP)幀，其基于所述多個視頻流中來自第三攝像機的第三視頻流中所包括的主特效預測(SP)幀編碼，其中，所述第一和第三攝像機在所述攝像機陣列內彼此相鄰。所述渲染特效還可以包括基于所述第二流的主特效預測(SP)幀和所述多個視頻流的第三流的第一輔特效預測(SP)幀渲染要顯示的幀。