[發明專利]基于簡化時間戳的音視頻同步方法

有效

• 申請號: 201310287533.8
• 申請日: 2013-07-10
• 公開（公告）號: CN103338386A
• 公開（公告）日: 2013-10-02
• 發明（設計）人: 胡宇;余福榮;王婷;高蔚;李爽;王書省
• 申請（專利權）人: 航天恒星科技有限公司
• 主分類號: H04N21/236
• 分類號: H04N21/236;H04N21/434;H04N21/24;H04N21/8547
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 安麗

技術領域

本發明涉及一種基于簡化時間戳的音視頻同步方法，應用于音視頻傳輸與處理領域。

背景技術

多媒體數據中的音視頻等相關媒體之間及媒體流內通常存在著較嚴格的時序關系，在經過存儲、處理和傳輸過程后，媒體間和媒體內通常會出現展現時間不一致的現象，影響用戶的視聽感受。時間戳同步技術是指通過時間戳來實現媒體間同步的一種技術。時間戳是用于同步的時間信息，其記錄可以有多種表達形式。發送方把時間戳信息裝載在數據分組中進行傳輸，接收方根據時間戳對不同對象進行同步。

目前，基于時間戳方法制定的標準協議（例如IETF制定的RTP/RTCP協議）都是針對多終端、大規模、網絡環境的應用場合。它們通常需要維護一個全網同步化時鐘，需要對時間戳協議進行較多處理，需要全局時間協議的支持以及本地系統時鐘的調整，復雜度較高，資源開銷較大。而一些基于標準協議提出的無全網同步化時鐘的時間戳方法則是采用反饋機制來控制發送方的傳輸速率，或是在數據發送前進行同步預處理。這些方法同樣需要占用一定的系統資源，在針對點到點、信道較穩定的應用場合時，效費比不高。

發明內容

本發明解決的技術問題是：克服現有技術的不足，提供一種基于簡化時間戳的音視頻同步方法，解決了面向點對點、信道穩定應用場合時現行標準協議方法實現復雜，系統資源開銷過大的問題。

本發明的技術方案是：基于簡化時間戳的音視頻同步方法，步驟如下：

1）采用一個連續工作的計數器作為時鐘源；接收原始視頻和原始音頻信號，當檢測到一幀原始視頻或一幀原始音頻起始信號后；記錄下當前時鐘源的數值作為該幀視頻時間戳或音頻時間戳；當該幀完整接收后，啟動音頻或視頻編碼處理；當該幀編碼完成后，獲得該幀的碼流幀；將該幀的時間戳插入碼流幀的幀頭后；送入碼流發送存儲區等待發送；

2）當碼流發送存儲區內存有等待發送的音頻碼流或視頻碼流時，將該音頻碼流或視頻碼流填充到復合幀中的指定位置；當碼流發送存儲區內沒有等待發送的音頻碼流或視頻碼流時，在復合幀中對應音頻碼流或視頻碼流的指定位置填充無效數據；然后將復合幀發往信道；所述的復合幀包括音頻碼流、視頻碼流、幀頭、校驗位；

3）信道接收端接收到復合幀時，將復合幀中的音頻碼流、視頻碼流進行分離；將分離后帶時間戳的音頻碼流和視頻碼流幀分別送至預先設置好的音頻碼流數據緩沖區隊列和視頻碼流數據緩沖區隊列中，等待解碼；

4）對音頻碼流數據緩沖區隊列和視頻碼流數據緩沖區隊列進行檢測，當檢測到有等待解碼的碼流幀時，調用解碼器進行解碼，獲得解碼數據；設置音頻輸出緩沖區隊列、視頻輸出緩沖區隊列、音頻時間戳緩沖區隊列、視頻時間戳緩沖區隊列；將得到的解碼數據存入音頻輸出緩沖區隊列或視頻輸出緩沖區隊列，并將碼流幀中的音頻時間戳或視頻時間戳送入對應的音頻時間戳緩沖區隊列或視頻時間戳緩沖區隊列；

5）設置視頻輸出緩沖區隊列中視頻緩存幀數的上下門限和音頻輸出緩沖區隊列中音頻緩存幀數的上下門限；當視頻緩存幀數和音頻緩存幀數均滿足下門限，或音頻緩存幀數達到上門限時，啟動音頻播放；否則輸出靜默幀；音頻播放時，當音頻緩存幀數低于其下門限，則進行重復幀操作，當音頻緩存幀數高于其上門限，則進行跳幀操作；設置一個全局音頻時間戳，全局音頻時間戳的值等于音頻時間戳緩沖區隊列中當前播放音頻幀的時間戳的值，全局音頻時間戳隨音頻播放實時更新；

6）當視頻緩存幀數和音頻緩存幀數均滿足下門限，或視頻緩存幀數達到上門限時，啟動視頻播放；否則輸出藍屏幀；設置時間戳正負失步門限；視頻播放時，計算視頻時間戳緩沖區隊列中當前待播放視頻的時間戳與當前全局音頻時間戳的差值，若差值大于正失步門限，進行重復幀操作，若差值小于負失步門限，則進行跳幀操作，否則正常輸出當前幀。

所述步驟1）中，音頻和視頻各自獨立進行時間戳記錄和插入。

本發明與現有技術相比的優點在于：

（1）本方法在音視頻編碼負擔較重的信源端，只需給音視頻碼流幀引入一個時間戳字段，不干預音視頻編碼處理流程，無額外開銷，資源占用少，音頻和視頻各自獨立進行時間戳記錄、編碼處理、時間戳插入以及碼流發送，組幀簡單，實現方便。

（2）所述方法不需要全網同步化時鐘和本地系統時鐘的調整，依據緩沖區空滿程度進行音頻流內失步判定，并以音頻流為參考流，直接比對視頻與音頻時間差是否超過設定門限判定流間失步情況，采用跳幀或重復幀進行媒體流內和流間的同步處理，簡單高效。