[發明專利]一種音視頻流分布式同步方法

有效

• 申請號: 202011578814.5
• 申請日: 2020-12-28
• 公開（公告）號: CN112770165B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 曾艷;吳吉央;張紀林;萬健;周麗
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/4402
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

1.一種音視頻流分布式同步方法，其特征在于該方法包括以下步驟：

步驟1：局域網內設備組建資源池，并將池內設備按功能分組；

同一局域網內的設備組建設備資源池，用戶可在任意設備上發起多媒體流向其它設備分布式同步傳輸和處理命令；

選擇用戶發起多媒體流數據的設備為source端，接收多媒體流數據的設備為sink端，source端設備與sink端設備建立數據流通道和控制流通道，其中的數據流用于音視頻數據傳輸，控制流用于控制信息傳輸；

source端設備將處理視頻的sink設備分為視頻設備組，將處理音頻的sink設備分為音頻設備組；

根據用戶視頻數據對視頻幀進行分組，并以視頻幀組為基準，對音頻幀進行分組；

步驟2：分組設備之間分布式協商音頻和視頻幀組開始時間；

source端設備與視頻設備組協商視頻幀組開始時間：視頻設備獲取本地信息同步給source端，source端設備根據收到的多個視頻設備組信息預估下一未播放幀組的開始時間，并通知相關視頻設備；

source端設備與音頻設備組協商音頻幀組開始時間：音頻設備獲取本地信息同步給source端，source端設備根據收到的多個音頻設備組信息以及視頻幀組開始時間預估下一未播放幀組的開始時間，并通知相關音頻設備；

步驟3：音頻設備以邏輯時鐘為基準，自適應調整幀組播放頻率，實現平滑播放；

步驟4：視頻設備基于邏輯時鐘和音頻時鐘，自適應調整幀組播放頻率，實現平滑播放。

2.根據權利要求1所述的一種音視頻流分布式同步方法，其特征在于：

步驟1中的視頻幀分組后的每個視頻幀組包括m_v個幀；而后以視頻幀組為基準，對音頻幀進行分組，音頻的一幀為包括n個采樣點的一段數據，音頻幀組包括m_a幀。

3.根據權利要求1所述的一種音視頻流分布式同步方法，其特征在于：

步驟2中采用多數原則或平均原則預估視頻設備組下一個未播放視頻幀組的開始時間；

采用多數原則或平均計算原則預估音頻設備組下一個音頻幀組的開始時間。

4.根據權利要求1所述的一種音視頻流分布式同步方法，其特征在于：

步驟3中自適應調整幀組播放頻率具體是：

3-1、獲取當前音頻播放信息，包括當前送入播放器或解碼器的時間、邏輯上送入播放器或解碼器的時間，根據當前送入播放器時間T_cur(j)與邏輯上送入播放器時間T_log(j)差值，差值小于等于給定閾值w，則不進行調整；差值大于給定閾值w，則進入第3-2步進行自適應調整：

3-2、音頻幀組內自適應調整，將時間差均攤至多幀。

5.根據權利要求1所述的一種音視頻流分布式同步方法，其特征在于：

步驟4：視頻設備基于邏輯時鐘和音頻時鐘，視頻設備組實現幀組內自適應調整處理頻率：

4-1、獲取當前視頻播放信息，包括當前送入播放器或解碼器時間、邏輯上送入播放器或解碼器時間，計算當前送入解碼器時間T_cur(j)與邏輯上送入解碼器時間T_log(j)差值，差值大于給定閾值w，則進入第4-2步進行自適應調整；

4-2、根據當前視頻幀，以音頻邏輯時鐘為標準，計算并比較當前視頻幀與當前音頻幀的大小關系，根據計算和比較結果完成第4-3步或第4-4步自適應調整，計算和比較過程如下：

(1)如果設當前視頻幀為F_{video_cur}，F_{video_group_start}(k)為第k組的初始幀號，T_{video_group_log}(k)為第k組視頻邏輯時間，則當前視頻幀邏輯理想時間T_{video_log}為：

T_{video_log}＝T_{video_group_log}(k)+(F_{video_cur}-F_{video_group_start}(k))*t_{video_group}

(2)根據當前視頻幀邏輯理想時間T_{video_log}計算當前視頻幀對應的理想邏輯音頻幀號F_{audio_log}：

設F_{audio_real}為當前實際邏輯音頻幀號，如果滿足F_{audio_log}＞F_{audio_real}則進入第4-3步，滿足F_{audio_log}≤F_{audio_real}則進入第4-4步；

4-3、當視頻比音頻快時，視頻自適應調整，以視頻放緩處理；計算音頻相對視頻延遲Delay_video，完成視頻的自適應調整Period_video：

Delay_video＝(F_{audio_log}-F_{audio_cur})*t_audio (2)

其中n為音頻采樣點數量，sample_rate表示音頻設備幀率，t_audio為單幀可播放時間；

4-4、當視頻比音頻慢時，視頻自適應調整，視頻可通過下式完成視頻自適應調整Period_video，以加快視頻處理：