[發(fā)明專利]一種音視頻同步播放方法及裝置

在審

• 申請?zhí)枺?/td>: 201210338406.1
• 申請日: 2012-09-13
• 公開（公告）號: CN103686315A
• 公開（公告）日: 2014-03-26
• 發(fā)明（設(shè)計）人: 梁健國;博彬
• 申請（專利權(quán)）人: 深圳市快播科技有限公司
• 主分類號: H04N21/434
• 分類號: H04N21/434;H04N21/8547
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞

技術(shù)領(lǐng)域

本發(fā)明涉及視頻通信領(lǐng)域，具體地，涉及一種音視頻同步播放方法及裝置。

背景技術(shù)

音視頻同步的目的是將視頻幀與該幀顯示時間點(diǎn)對應(yīng)的音頻數(shù)據(jù)同步輸出到設(shè)備，從而實(shí)現(xiàn)影片的正常播放。由于音視頻被分開編碼，故它們的解碼也是分開的，且解碼后的音視頻輸出本是不相關(guān)的過程。為保證正常播放，編碼器在編碼時會以幀為單位分別為編碼后的視頻和音頻流打上時間戳（timestamp，簡稱為ts），擁有相同或幾近相同時間戳的音視頻數(shù)據(jù)在解碼后應(yīng)被同時輸出。

目前實(shí)現(xiàn)音視頻同步，可以以視頻ts為參考，將音頻同步到視頻，也可相反，以音頻ts為參考，將視頻同步到音頻。此外也可參考外部時鐘（externalclock），比如系統(tǒng)時鐘，從而將音視頻根據(jù)各自的ts同步到外部時鐘。以上的同步過程，如果遇見因機(jī)器性能而解不動的情況，采用不解碼相應(yīng)非參考幀的策略，以期減輕系統(tǒng)負(fù)擔(dān)，令播放盡可能流暢。

通常播放器的分離器（demuxer）后端都存在獨(dú)立的音視頻緩沖隊列，緩沖隊列內(nèi)存放了由分離器解析出的待解數(shù)據(jù)包。音頻解碼器（audio?decoder）從音頻緩沖隊列中（audio?queue）取出音頻數(shù)據(jù)包（audio?packet），視頻解碼器（video?decoder）從視頻緩沖隊列中（video?queue）取出視頻數(shù)據(jù)包（videopacket），隨后各自解碼并輸出。由于音頻/視頻緩沖隊列的長度都有限，因而分離器填充數(shù)據(jù)包時也就存在限制，如果緩沖隊列滿了，就必須等隊列中的數(shù)據(jù)包被對應(yīng)解碼器取走以騰出空間后方可再次填充。如果分離器具備從隨機(jī)位置單獨(dú)解析出音頻/視頻數(shù)據(jù)包的能力，則該限制影響不大，因為任意一個隊列的充滿，都不會影響其他隊列的填充。反之，如果分離器不具備此能力，就會出現(xiàn)問題。拿目前的視頻采集、截圖多媒體處理工具（ffmpeg）為例，其分離器不具備上述能力，結(jié)果是音頻/視頻數(shù)據(jù)包被按照數(shù)據(jù)流中出現(xiàn)的順序解析出來的，當(dāng)前循環(huán)解析出的如果是視頻數(shù)據(jù)包，下次的數(shù)據(jù)包類型有可能是視頻，也有可能是音頻。這樣，當(dāng)填充上述緩沖隊列時，如果視頻緩沖隊列滿了，就必須讓分離器的解析工作停下來，否則，隨后解析出的視頻數(shù)據(jù)包就無處存放，只能丟棄了。

由于上述的限制，現(xiàn)有的音視頻同步策略存在的缺陷如下：

策略1

以視頻時間戳（video?ts）為參考來同步音頻，該策略的思路是視頻播到哪兒，對應(yīng)的音頻就播到哪兒。該策略有以下缺陷：

（1）視頻的時間戳有很大可能存在不連續(xù)；

（2）解不動的情況下，視頻緩沖隊列在大部分時間是滿的，會導(dǎo)致音頻數(shù)據(jù)包無法填充；

（3）播放到文件末尾時，視頻數(shù)據(jù)可能先被解完，此時剩余的音頻（audio）將失去參考對象。

其中，上述缺陷（1）和（3）可以修正，但會大大提高程序復(fù)雜度，造成代碼難以維護(hù)，缺陷（2）會令音頻解碼器無數(shù)據(jù)可解，造成嚴(yán)重的聲音卡頓。

策略2

以音頻時間戳為參考來同步視頻，則音頻時間戳的可靠性通常高于視頻時間戳的可靠性，但上述策略1中的三個缺陷仍然存在，且缺陷（2）會造成視頻失去正確的參考時間軸，造成視頻長時間卡頓，較大影響用戶體驗。

策略3

將音頻和視頻都同步到同一個外部時鐘上，該策略的好處是音頻和視頻彼此不相關(guān)聯(lián)，只需要處理各自與外部時鐘的同步邏輯即可，代碼易讀易維護(hù)，出錯可能性大大降低，且可以保證選取的外部時鐘是可靠和一直存在的。但該策略同樣存在如下問題：

（1）同一播放定位（seek）點(diǎn)上，音頻和視頻起始時間會不一致；

（2）解不動的情況下，視頻緩沖隊列在大部分時間是滿的，會導(dǎo)致音頻數(shù)據(jù)包無法填充。

問題（1）造成的結(jié)果是，即使音頻和視頻都同步到了外部時鐘，但起始點(diǎn)內(nèi)容的偏差，導(dǎo)致音視頻始終不同步。盡管在該策略下，問題（2）的影響已降低，但如果處理不當(dāng)，仍會造成聲音的卡頓，影響用戶體驗。

綜上所述，現(xiàn)有技術(shù)中的音視頻同步播放技術(shù)存在由于時間戳不一致而導(dǎo)致音視頻播放時無法有效同步的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的主要目的在于提供一種音視頻同步播放方法及裝置，以解決現(xiàn)有技術(shù)中的音視頻同步播放技術(shù)存在由于時間戳不一致而導(dǎo)致音視頻播放時無法有效同步的問題。