[發(fā)明專利]一種基于并行處理的流媒體音視頻同步播放方法

無效

• 申請?zhí)枺?/td>: 201210546054.9
• 申請日: 2012-12-17
• 公開（公告）號: CN103024517A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計）人: 吳小偉;劉念林;李汶隆
• 申請（專利權(quán)）人: 四川九洲電器集團(tuán)有限責(zé)任公司
• 主分類號: H04N21/434
• 分類號: H04N21/434;H04N21/8547
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 徐宏;吳彥峰

技術(shù)領(lǐng)域

本發(fā)明涉及流媒體音視頻圖像處理領(lǐng)域，特別涉及一種流媒體音視頻的播放方法。?

背景技術(shù)

目前主流的視頻編解碼標(biāo)準(zhǔn)有MJPEG（即Motion?JPEG，一種視頻壓縮格式，其中每一幀圖像都分別使用JPEG編碼，也可簡稱為MJPE）、H264等都是采用傳統(tǒng)的混合編碼結(jié)構(gòu)，該結(jié)構(gòu)采用時間和空間預(yù)測、變換、量化和熵編碼方法，將視頻幀編碼設(shè)為不同的幀類型：I幀、B幀、P幀，這必將引起視頻解碼速度因幀類型不同而有所不同，而視頻的渲染幀率是固定的，從而產(chǎn)生了視頻解碼速度與渲染速度不匹配的現(xiàn)象。

由于音視頻流要求同步播放，而音頻和視頻數(shù)據(jù)是異步解碼和輸出的，如果不采用同步輸出控制機(jī)制，必將導(dǎo)致音視頻播放不同步的現(xiàn)象。

發(fā)明內(nèi)容

本發(fā)明的目的是針對目前流媒體音視頻播放過程中存在的解碼速度和渲染速度不匹配和/或音視頻播放不同步問題，提供一種基于并行處理的流媒體視頻同步播放方法。

為了實(shí)現(xiàn)本發(fā)明的目的，采用如下技術(shù)方案：

一種基于并行處理的流媒體音視頻同步播放方法，在時間上或空間上并行處理音視頻獲取、音視頻拆分、視頻解碼、音頻解碼、時間戳誤差分析、視頻渲染和音頻播放步驟，所述的時間戳誤差是視頻解碼時間戳和音頻解碼時間戳之間的音視時間戳誤差。

所述音視頻獲取步驟之前構(gòu)建緩沖區(qū)空間，所述緩沖區(qū)空間包括音視頻混合緩沖區(qū)隊列???????????????????????????????????????????????、視頻解碼緩沖區(qū)隊列、音頻解碼緩沖區(qū)隊列、視頻渲染緩沖區(qū)隊列、視頻解碼時間戳緩沖區(qū)隊列、音頻播放緩沖區(qū)隊列、音頻解碼時間戳緩沖區(qū)隊列、音視頻誤差時間戳緩沖區(qū)隊列。

所述音視頻獲取步驟將從流媒體源獲取到的音視頻混合數(shù)據(jù)包依次插入預(yù)先構(gòu)建的音視頻混合緩沖區(qū)隊列。

所述音視頻拆分步驟從音視頻混合緩沖區(qū)隊列依次取出音視頻混合數(shù)據(jù)包，利用音視頻拆分算法對音視頻混合數(shù)據(jù)包進(jìn)行音視頻拆分，提取視頻流、音視流、拆分后時間戳；將視頻流與時間戳組成視頻解碼節(jié)點(diǎn)插入預(yù)先構(gòu)建的視頻解碼緩沖區(qū)隊列；將音頻流與時間戳組成音頻解碼節(jié)點(diǎn)插入預(yù)先構(gòu)建的音頻解碼緩沖區(qū)隊列。

所述視頻解碼步驟從視頻解碼緩沖區(qū)隊列依次取出視頻解碼節(jié)點(diǎn)，對節(jié)點(diǎn)中視頻流進(jìn)行解碼，獲取解碼后的視頻流、視頻解碼時間戳；將視頻流與拆分后時間戳組成視頻渲染節(jié)點(diǎn)插入預(yù)先構(gòu)建的視頻渲染緩沖區(qū)隊列；將視頻解碼時間戳和拆分后時間戳組成視頻解碼時間戳節(jié)點(diǎn)插入預(yù)先構(gòu)建的視頻解碼時間戳緩沖區(qū)隊列。

所述音頻解碼步驟從音頻解碼緩沖區(qū)隊列依次取出音頻解碼節(jié)點(diǎn)，對節(jié)點(diǎn)中音頻流進(jìn)行解碼，獲取解碼后的音頻流、音頻解碼時間戳；將音頻流與拆分后時間戳組成音頻播放節(jié)點(diǎn)插入預(yù)先構(gòu)建的音頻播放緩沖區(qū)隊列；將音頻解碼時間戳和拆分后時間戳組成音頻解碼時間戳節(jié)點(diǎn)插入預(yù)先構(gòu)建的音頻解碼時間戳緩沖區(qū)隊列。

所述時間戳誤差分析步驟以拆分后時間戳為關(guān)鍵字在視頻解碼緩沖區(qū)隊列查找視頻解碼時間戳對應(yīng)節(jié)點(diǎn)信息；再以拆分后時間戳為關(guān)鍵字在音頻解碼緩沖區(qū)隊列查找音頻解碼時間戳對應(yīng)節(jié)點(diǎn)信息；通過視頻解碼時間戳和音頻解碼時間戳得到音視誤差時間戳?=??-?；將音視誤差時間戳與拆分后時間戳組成音視頻誤差時間戳節(jié)點(diǎn)插入預(yù)先構(gòu)建的音視頻誤差時間戳緩沖區(qū)隊列。

所述視頻渲染步驟依次從視頻解碼緩沖區(qū)隊列取出視頻渲染節(jié)點(diǎn)，獲取視頻流和拆分后時間戳；再根據(jù)拆分后時間戳從音視頻誤差時間戳緩沖區(qū)隊列取出音視誤差時間戳節(jié)點(diǎn)，獲取音視頻誤差時間；判斷音視頻誤差時間>0是否成立，如果成立則立即播放，否則就等待再播放。

所述音頻播放步驟依次從音頻解碼緩沖區(qū)隊列取出音頻播放節(jié)點(diǎn)，獲取音頻流和拆分后時間戳；再根據(jù)拆分后時間戳從音視頻誤差時間戳緩沖區(qū)隊列取出音視誤差時間戳節(jié)點(diǎn)，獲取音視頻誤差時間；判斷音視頻誤差時間>0是否成立，如果成立則等待再播放，否則就立即播放。