[發(fā)明專利]音視頻同步方法、系統(tǒng)、計算機裝置及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201710832007.3
• 申請日: 2017-09-15
• 公開（公告）號: CN107509100A
• 公開（公告）日: 2017-12-22
• 發(fā)明（設計）人: 劉學文;車明賢
• 申請（專利權(quán)）人: 深圳國微技術(shù)有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/8547
• 代理公司: 深圳盛德大業(yè)知識產(chǎn)權(quán)代理事務所(普通合伙)44333
• 代理人: 賈振勇

技術(shù)領(lǐng)域

本發(fā)明屬于音視頻技術(shù)領(lǐng)域，尤其涉及一種音視頻同步方法、系統(tǒng)、計算機裝置及計算機可讀存儲介質(zhì)。

背景技術(shù)

音頻與視頻的同步技術(shù)是多媒體服務中最重要的核心部分，媒體播放如果在音視頻上不同步則會直接影響用戶的觀感體驗。因此，音視頻同步技術(shù)領(lǐng)域的發(fā)展，可謂是各具特色，各有千秋。不同的產(chǎn)品，不同的應用場景需要設計相適應的同步技術(shù)。不同的技術(shù)實現(xiàn)對于同步的精度控制，平滑效果，異常處理等都會表現(xiàn)出不同的性能，但最終目的都是一致的，即使音頻與視頻達到一致同步的播放，呈現(xiàn)最佳視覺聽覺體驗。

目前市場現(xiàn)有的實時MPEG播放器，對于音視頻同步設計及處理不盡相同，大多數(shù)是使用第三方音頻解碼庫，如FFMPEG，VLC等。但是，由于第三方音頻解碼庫在使用時需要支付大量的使用費，成本過高，因此通常會采用AudioQueue處理MPEG TS實時流節(jié)目。

AudioQueue是Mac OS X與iPhone中提供錄音、播放功能的高級框架，比AudioUnit等框架更方便，因此，目前廣泛的應用在音視頻技術(shù)中。

目前，在基于AudioQueue的音頻處理框架下，進行音頻播放時，由于AudioQueue是一套封閉性套件模塊，輸入的是原始音頻單元流，即壓縮的未解碼數(shù)據(jù)，對于內(nèi)部數(shù)據(jù)的緩沖，流動及解碼輸出不能實時捕獲，因此不能直接得到當前音頻幀輸出的流時間。而這個流相對時間對于音視頻同步極其重要，視頻幀是參考這個時間進行輸出渲染，因此不能得到準確的時間戳，視頻幀則不能準確的輸出，造成音視頻不能同步播放的問題。

發(fā)明內(nèi)容

本發(fā)明提供一種音視頻同步的方法，旨在解決現(xiàn)有技術(shù)中，在基于AudioQueue的音頻處理框架下，進行音頻播放時，不能得到準確的流時間，視頻幀不能準確的輸出，造成音視頻不能同步播放的問題。

本發(fā)明是這樣實現(xiàn)的，一種音視頻同步方法，包括：

獲取音頻幀數(shù)據(jù)以及視頻幀數(shù)據(jù)；

根據(jù)所述音頻幀數(shù)據(jù)的起始播放流時間以及播放時長獲取同步時間基準；

根據(jù)所述視頻幀數(shù)據(jù)，獲取當前待播放視頻幀數(shù)據(jù)以及所述待播放視頻幀數(shù)據(jù)對應的時間信息；

判斷所述時間信息是否大于所述同步時間基準；

當判斷結(jié)果為否時，判斷所述時間信息與所述同步時間基準之間的時間差是否大于預設閾值；

當判斷結(jié)果為否時，輸出所述待播放視頻幀數(shù)據(jù)。

本發(fā)明還提供了一種音視頻同步系統(tǒng)，包括：

音視頻幀數(shù)據(jù)獲取單元，用于獲取音頻幀數(shù)據(jù)以及視頻幀數(shù)據(jù)；

第一同步時間獲取單元，用于根據(jù)所述音頻幀數(shù)據(jù)的起始播放流時間以及播放時長獲取同步時間基準；

視頻幀數(shù)據(jù)控制單元，用于根據(jù)所述視頻幀數(shù)據(jù)，獲取當前待播放視頻幀數(shù)據(jù)以及所述待播放視頻幀數(shù)據(jù)對應的時間信息；

第一判斷單元，用于判斷所述時間信息是否大于所述同步時間基準；

第二判斷單元，用于當判斷結(jié)果為否時，判斷所述時間信息與所述同步時間基準之間的時間差是否大于預設閾值；

視頻顯示單元，用于當判斷結(jié)果為否時，輸出所述待播放視頻幀數(shù)據(jù)。

本發(fā)明實施例還提供了一種計算機裝置，所述計算機系統(tǒng)包括處理器，所述處理器用于執(zhí)行存儲器中存儲的計算機程序時實現(xiàn)上述音視頻同步方法的步驟。

本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序(指令)，其特征在于，所述計算機程序(指令)被處理器執(zhí)行時實現(xiàn)上述音視頻同步方法的步驟。

本發(fā)明實施例中，提供了一種基于Audio Queue框架下的音視頻同步方法，通過獲取音頻幀數(shù)據(jù)以及視頻幀數(shù)據(jù)，并根據(jù)音頻幀數(shù)據(jù)的起始播放流時間以及播放時長獲取同步時間基準，根據(jù)音頻幀數(shù)據(jù)獲取視頻幀數(shù)據(jù)以及所述視頻幀數(shù)據(jù)對應的時間信息，并在該同步時間基準與該時間信息之間的差值小于預設預設閾值時，輸出視頻幀，以實現(xiàn)音視頻同步，通過對音頻幀數(shù)據(jù)以及視頻幀數(shù)據(jù)在緩沖、解碼以及渲染等過程中的時間戳進行獲取，并計算，以使視頻幀根據(jù)同步時間基準進行播放，有效解決現(xiàn)有技術(shù)，在進行音頻播放時，不能得到準確的時間戳，視頻幀則不能準確的輸出，造成音視頻不能同步播放的問題。

附圖說明

圖1是本發(fā)明實施例提供的一種音視頻同步系統(tǒng)的實施場景圖；

圖2是本發(fā)明實施例提供的一種音視頻同步方法的實現(xiàn)流程圖；

圖3是本發(fā)明實施例提供的一種時間信息獲取方法的實現(xiàn)流程圖；