[發明專利]一種音視頻自動同步方法及同步系統

在審

• 申請號: 201910190426.0
• 申請日: 2019-03-13
• 公開（公告）號: CN109862384A
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 王永衛;劉宏宇;傅智博;盧光銳;李萬吉;彭玉濤;季興華;袁家劼
• 申請（專利權）人: 北京河馬能量體育科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/234;H04N21/2343;H04N21/242;H04N21/43;H04N21/439;H04N21/44;H04N21/4402;H04N21/8547
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 王鴻遠

本發明涉及一種音視頻自動同步方法及同步系統，用于網絡直播，包括以下步驟：接收音頻流和視頻流，其中，音頻流包括多個帶有時間戳的音頻幀，視頻流包括多個帶有時間戳的視頻幀，視頻幀包括關鍵幀和非關鍵幀；從視頻流中提取關鍵幀；對關鍵幀進行編碼，判斷該關鍵幀是否編碼成功，若是，則選取該關鍵幀作為初始幀；以初始幀為音視頻同步起點，根據時間戳使視頻幀與音頻幀自動一一對應；對一一對應的視頻幀與音頻幀進行編碼，以對視頻幀與音頻幀進行同步推流。本發明的音視頻自動同步方法及同步系統選取初始幀并以初始幀為音視頻同步起點，根據時間戳使視頻幀與音頻幀自動一一對應，通過初始幀進行音視頻同步，簡單快速。

技術領域

本發明涉及網絡直播技術領域，尤其涉及一種音視頻自動同步方法及同步系統。

背景技術

每一幀音頻或視頻都有一個持續時間，采樣頻率是指將模擬聲音波形進行數字化時，每秒鐘抽取聲波幅度樣本的次數。正常人聽覺的頻率范圍大約在20Hz～20kHz之間，根據奈奎斯特采樣理論，為了保證聲音不失真，采樣頻率應該在40kHz左右。常用的音頻采樣頻率有8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz等，如果采用更高的采樣頻率，還可以達到DVD的音質對采樣率為44.1kHz的AAC(Advanced Audio Coding，高級音頻編碼)音頻進行解碼時，一幀的解碼時間須控制在23.22毫秒內。一個AAC原始幀包含一段時間內1024個采樣及相關數據。

音頻幀的播放時間＝一個AAC幀對應的采樣樣本的個數/采樣頻率，單位為s，一幀1024個樣本。采樣率44100Hz，每秒44100個樣本，所以根據公式：音頻幀的播放時間＝一個AAC幀對應的采樣樣本的個數/采樣頻率，當前AAC一幀的播放時間是＝1024*1000000/44100＝22.32ms(單位為ms)。

H264，視頻的播放時間跟幀率有關frame_duration＝1000/fps，例如：fps＝25.00，計算出來的時常為40ms，這就是同行所說的40ms一幀視頻數據。理論上的音視頻(播放)同步是這樣的：

由此得到了每一幀數據的持續時間，音視頻交叉存儲在容器中：一個時間軸：

時間軸：

0 22.32 40 44.62 66.96 80 89.16 111.48 120......

音頻：

0 22.32 44.62 66.96 89.16 111.48......

視頻：

0 40 80 120......

即視頻的持續時間相加和音頻的持續時間相加作比較，誰小寫入哪個。

但實際情況(播放)是不成立的。

1.首先解決一個問題

為什么不音頻播音頻的視頻播視頻的，即上面的到第22.32ms播一幀音頻，到40ms播一幀視頻。

因為這個22.32ms或40ms是算不準的或者說和聲卡播的時間是不一樣的。這里就需要知道聲卡播一幀/或者說播放一個音頻需要多長時間。

2.聲卡每次播一個采樣點而不是一幀。聲音當一個采樣點丟失了都可以聽出來，視頻則不然。

3.音視頻同步方式：第一，回調方式；第二，阻塞方式。

然而，音視頻在實際編碼過程中是一個比較復雜的過程，不僅要指定什么時候編碼，還要指定什么時候播放，只有音視頻編碼時間戳一致且播放時間戳一致，音視頻才會同步，以上處理方法雖然在理論狀態下能保證微小音視頻播放差異，但在網絡狀態稍有一點不穩定的狀態下會產生不同步。當視頻幀出現差錯時，而音頻幀沒有問題時，會音頻先于視頻，這就是有時聲音先于視頻的原因。