[發明專利]基于自由視點的視頻直播處理方法、系統、裝置及介質

在審

• 申請號: 202010166693.7
• 申請日: 2020-03-11
• 公開（公告）號: CN111355967A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 胡強;孫正忠;張迎梁
• 申請（專利權）人: 疊境數字科技（上海）有限公司
• 主分類號: H04N21/218
• 分類號: H04N21/218;H04N21/2187;H04N21/234;H04N21/2343;H04N21/2387;H04N21/242;H04N21/43;H04N21/44;H04N21/4402;H04N21/8547
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 李艷梅

基于自由視點的視頻直播處理方法、設備、系統、芯片及介質，方法包括：采集多角度的若干同步視頻；將若干同步視頻拼接成大圖，傳輸至服務器；在服務器上解碼獲取大圖，選擇角度播放。本發明可以讓用戶自由地切換視點，并且通過滑動的控制實現自定義子彈時間的效果。

技術領域

本發明涉及視頻直播領域，具體地說是一種基于自由視點技術的視角可變的視頻直播處理方法、設備、系統、芯片及介質，實現了端到端的實時、多視角的交互直播，可以廣泛適用于主播、晚會、體育賽事等主播直播活動中。

背景技術

隨著網絡多媒體技術的高速發展，人們對信息處理能力的需求不斷增強。信息傳遞的載體也由文字、圖像發展到視頻，視頻直播和短視頻社交等應用逐漸流行起來。尤其是隨著5G商用正式啟動、基站不斷完善擴展，高速便捷的網絡基礎推動了直播產業諸多創新。傳統視頻直播用戶不能隨意選擇自己想要觀看的視角畫面，基本都是導播推給你什么畫面就看什么畫面，缺乏娛樂性和新鮮感。

傳統的視頻直播方式通常采用一臺或多臺攝像機進行拍攝。在主播直播中，往往是只有一臺相機，因而用戶只能從單一視角觀看直播；而在晚會或體育賽事中，現場會有多臺相機，由導播負責鏡頭的切換，而觀眾根據導播的切換來觀看直播。上述的直播方式存在的問題是觀眾的觀看視角比較單一且不可控，觀眾只能被動的接受當前的直播視角，而不能自由選擇自己希望看到的視角。隨著寬帶技術的發展和5G技術的興起，直播方實際上是可以將多路視頻流的同時推送給觀眾，使得觀眾可以自由切換視角。但是這種方式并不能很好的改善觀看體驗，觀眾往往不能以最優的方式來進行視角切換，并且切換的過程中會有卡頓和不連續的體驗，反而不如由導播端來進行鏡頭切換。

此外，子彈時間作為一種電影中的視頻特效，具有360度觀看、時間凝結等諸多優勢，往往應用于慢動作回放中，具有極好的觀看體驗和視覺效果。但是傳統的子彈時間是一種后期的特效，不能應用在直播中，且子彈時間效果的片段選取和速度都是特效制作人員確定的，用戶無法在任一自己喜歡的瞬間來觀看子彈時間效果，具有很大的限制性。

發明內容

本發明為解決現有的問題，旨在提供一種基于自由視點技術的視頻直播處理方法、設備、系統、芯片及介質，可以讓用戶在觀看直播時在一定范圍內流暢地自由切換視角，做到無延時、無卡頓，進而實現用戶可控的動靜態子彈時間特效。

為了達到上述目的，本發明采用的技術方案的方法包括如下步驟：

S1，采集多角度的若干同步視頻；

S2，將所述若干同步視頻拼接成大圖，并傳輸至服務器；

S3，在服務器上解碼獲取大圖，選擇角度播放。

在一些實施例中，S1中，通過相機陣列采集不同視角的同步視頻的畫面。

在一些實施例中，S1中還包括，對若干同步視頻進行圖像校正。

在一些實施例中，所述圖像校正包括：通過相機拍攝的圖像對標定點進行定位，從而計算出被測物相對于標準位置的偏差，得到生成校正后的同步視頻圖像。在一些實施例中，S2中，對大圖的畫面進行壓縮，進而封裝成流媒體格式，然后對其進行傳輸。

在一些實施例中，將原始流加入時間標簽后生成分組原始流，在分組原始流包的包頭中比較解碼時間戳和顯示時間戳，分別用于指示該數據在解碼端的解碼時間和顯示時間。

在一些實施例中，采用當前分組原始流包中數據對應的采集時間作為該分組原始流包頭中的顯示時間戳，并通過幀類型計算得到解碼時間戳。

在一些實施例中，S2中，將每個同步視頻分別壓縮到同一低分辨率后，再將同時刻的若干同步視頻拼接成一幅超高分辨率的大圖畫面。

在一些實施例中，S4中，用戶在服務器上拉取直播數據進行解碼，得到大圖的畫面后選擇畫面，進行顯示播放。