[發明專利]基于直播視頻流的SEI幀回放數據同步方法、系統、裝置及介質

有效

• 申請號: 202110700898.3
• 申請日: 2021-06-24
• 公開（公告）號: CN113507617B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 鄭新越;白劍;黃海亮;梁瑛瑋;張海林;魯和平;李長杰;陳煥然;李樂;王浩;洪行健;冷冬;丁一
• 申請（專利權）人: 廣州易方信息科技股份有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/43;H04N21/433;H04N21/8547
• 代理公司: 佛山幫專知識產權代理事務所(普通合伙) 44387
• 代理人: 顏春艷

本發明提出了一種基于視頻流的SEI幀回放數據同步方法、系統、裝置及介質，所述方法包括：步驟1，獲取錄制好的視頻文件并解析出視頻文件中所有的SEI幀數據，確定每一SEI幀所對應的當時時間戳以及輔助文檔的每一頁在視頻播放時間線上出現的相對時間；步驟2，分別計算兩相鄰SEI幀所對應當時時間戳的間隔時間△T，根據所述間隔時間△T確定兩相鄰SEI幀之間是否丟失視頻幀數據；是則進入步驟3，否則不處理視頻文件而讓視頻文件正常播放；步驟3，將輔助文檔數據時間戳在這兩相鄰SEI幀時間戳內的輔助文檔數據刪除并將后面的輔助文檔數據向前移動。本發明能夠根據視頻幀數據丟失準確地對輔助文檔數據進行矯正，極大保證了回放中輔助文檔和視頻的同步性。

技術領域

本發明涉及視頻處理技術領域，具體涉及一種基于直播視頻流的SEI幀回放數據同步方法、系統、裝置及介質。

背景技術

現在通過直播軟件推流做直播時，有時候需要附加其他獨立于直播流的其他輔助功能，比如說ppt數據，此時在直播回放中還原整個直播過程時，就需要播放視頻數據以及其他輔助功能的數據。而在直播過程中由于網絡鏈路不穩定很容易引起斷流，導致保存的部分視頻楨數據會丟失，此時若ppt數據正常保存，則回放的時候就會出現ppt與視頻不同步的問題。

發明內容

針對現有技術的不足，本發明提出一種基于直播視頻流的SEI幀回放數據同步方法、系統、裝置及存儲介質，能夠根據視頻楨數據丟失準確地對輔助文檔數據進行矯正，極大保證了回放中輔助文檔和視頻的同步性。

為了實現上述目的，本發明公開了一種基于直播視頻流的SEI幀回放數據同步方法，包括以下步驟：

步驟1，獲取錄制好的視頻文件，并解析出視頻文件中所有的SEI幀數據，同時確定每一SEI幀所對應的當時時間戳以及輔助文檔的每一頁在視頻播放時間線上出現的相對時間；所述視頻文件的SEI幀中分別記載有直播時的當前時間戳以及輔助文檔的每一頁在視頻播放時間線里出現的相對時間；

步驟2，分別計算兩相鄰SEI幀所對應時間戳的間隔時間△T，根據所述間隔時間△T確定兩相鄰SEI幀之間是否丟失視頻幀數據；是，則進入步驟3，否，則不處理視頻文件而讓視頻文件正常播放；

步驟3，將輔助文檔數據時間戳在這兩相鄰SEI幀時間戳內的輔助文檔數據刪除并將后面的輔助文檔數據向前移動。

進一步的，步驟2中，根據所述間隔時間△T確定兩相鄰SEI幀之間是否丟失視頻幀數據的步驟包括：

判斷所述間隔時間△T是否大于預設間隔時間△t，是則兩相鄰SEI幀之間丟失視頻幀數據，否則兩相鄰SEI幀之間不丟失視頻幀數據。

進一步的，步驟2的步驟包括：

步驟201，確定第n個SEI幀的時間戳T1和第n+1個SEI幀的時間戳T2，根據公式△T＝T2-T1計算兩相鄰SEI幀之間的間隔時間△T；

步驟202，判斷所述間隔時間△T是否大于預設間隔時間△t，是則兩相鄰SEI幀之間丟失視頻幀數據，否則兩相鄰SEI幀之間不丟失視頻幀數據。

進一步的，步驟3中，將輔助文檔數據時間戳在這兩相鄰SEI幀時間戳內的輔助文檔數據刪除并將后面的輔助文檔數據向前移動的步驟包括：

將輔助文檔數據時間戳在T1和T2之間的輔助文檔數據刪除，并將后面的輔助文檔數據往前移動(△T-△t)。

另一方面，本發明還公開了一種基于直播視頻流的SEI幀回放數據同步系統，包括

SEI幀解析模塊，用于獲取錄制好的視頻文件，并解析出視頻文件中所有的SEI幀數據，同時確定每一SEI幀所對應的當時時間戳以及輔助文檔的每一頁在視頻播放時間線上出現的相對時間；所述視頻文件的SEI幀中分別記載有直播時的當前時間戳以及輔助文檔的每一頁在視頻播放時間線里出現的相對時間；