[發(fā)明專利]一種多視角直播場景下同步視頻幀的方法

在審

• 申請?zhí)枺?/td>: 202010168546.3
• 申請日: 2020-03-12
• 公開（公告）號: CN111327911A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設計）人: 李亞;修志遠;張智超;潘亞南
• 申請（專利權）人: 山東云縵智能科技有限公司
• 主分類號: H04N21/218
• 分類號: H04N21/218;H04N21/2187;H04N21/43;H04N21/4402;H04N21/8547
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 李桂存

本發(fā)明提出一種多視角直播場景下同步視頻幀的方法，包括步驟：設定共享PTS；每個播放器渲染視頻時，將當前要渲染的視頻幀的PTS與共享PTS比對，小于共享PTS時不渲染，反之正常渲染；當播放器不渲染視頻時，開啟追幀模式，依次跳過所有PTS小于共享PTS的視頻幀，直到視頻幀的PTS大于等于共享PTS。本發(fā)明使得同步的延時可以降低到幀級別，達到超低的幀同步延時，能夠保證多視角的多路視頻流在的播放進度是一致的，大大提升了同步視頻的精確度。

技術領域

本發(fā)明涉及視頻數(shù)據(jù)處理技術領域，更具體涉及一種多視角直播場景下同步視頻幀的方法。

背景技術

多視角直播場景中，同一場景的不同角度的多路視頻流同屏同時播放，每一路視頻的播放都獨立，受到播放環(huán)境的影響，多路視頻播放的內容經(jīng)常不能同步，這會影響到用戶的觀看體驗。比如，網(wǎng)絡不穩(wěn)定，導致某一路視頻緩沖時間變長，進而導致視頻播放進度落后；多路視頻同時播放，會導致CPU負擔過重，某路視頻處理速度變慢，進而導致播放進度落后。

視頻不同步現(xiàn)象會經(jīng)常發(fā)生，目前的做法，基本都是根據(jù)視頻的時間點進行同步，通過seek視頻的方式，將多路視頻跳轉到同一時間點。但是這種方式雖然能做到視頻同步，但效果并不理想，而且同步時間的方式延時比較高，不精確，同步時間后，過段時間還會出現(xiàn)視頻不同步的現(xiàn)象，如果不斷的seek播放器，會產生視頻卡頓的現(xiàn)象。

發(fā)明內容

在多視角場景的導播臺里面，攝像機在取景的時候，需要把多個攝像機的NTP時間調整同步，制作的節(jié)目視頻源音視頻要同步。為了解決視頻同步的傳統(tǒng)方式不精確、卡頓的問題，降低視頻同步的延時，本發(fā)明提出以下解決方案。

一種多視角直播場景下同步視頻幀的方法，其特征在于，包括步驟：

設定共享PTS （Presentation Time Stamp即顯示時間戳）；

每個播放器解碼和渲染視頻時，將當前視頻幀的PTS與共享PTS比對，小于共享PTS時不解碼渲染，反之正常解碼和渲染；

當播放器不解碼渲染視頻時，開啟追幀模式，依次跳過所有PTS小于共享PTS的視頻幀，直到視頻幀的PTS大于等于共享PTS。

根據(jù)實際應用場景，所述共享PTS可以取各個播放器最新視頻幀的PTS中的最大值。

或者，根據(jù)實際應用場景，所述共享PTS也可以取指定播放器最新視頻幀的PTS。

更具體的，共享PTS存儲在共享內存區(qū)，所有播放器均可訪問并讀取。

進一步的，在步驟設定共享PTS前還包括：

調整導播臺多臺攝像機的NTP時間，使其同步，同時調整制作的節(jié)目視頻使其音視頻同步。

本發(fā)明設計的同步方法，通過多個播放器共享PTS，并根據(jù)PTS來追最新的視頻幀，從而達到同步視頻幀的效果，具有同步的低延時特性，延時低至幀級別，有效解決了傳統(tǒng)方式不精確、卡頓的問題，有效降低了視頻同步的延時，能夠做到幀級別的同步視頻，大大提升了同步視頻的精確度。

具體實施方式

一種多視角直播場景下同步視頻幀的方法，其特征在于，包括步驟：

1. 調整導播臺多臺攝像機的NTP時間，使其同步，同時制作的節(jié)目視頻要保證音視頻同步，這一步是客戶端播放的時候，同步視頻的基礎。

2. 開辟播放器內部的共享內存區(qū)：