[發(fā)明專利]傳輸流音視頻同步及防抖動(dòng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 200910188501.6
• 申請(qǐng)日: 2009-11-30
• 公開（公告）號(hào): CN101848396A
• 公開（公告）日: 2010-09-29
• 發(fā)明（設(shè)計(jì)）人: 胡小華
• 申請(qǐng)（專利權(quán)）人: 深圳市致芯微電子股份有限公司
• 主分類號(hào): H04N7/62
• 分類號(hào): H04N7/62;H04N7/64
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó)

技術(shù)領(lǐng)域

本發(fā)明涉及到音視頻同步技術(shù)，特別涉及到傳輸流音視頻同步及防抖動(dòng)方法。

背景技術(shù)

傳輸流是針對(duì)可能出現(xiàn)顯著錯(cuò)誤的環(huán)境中，進(jìn)行節(jié)目傳輸和存儲(chǔ)而定義。因此，當(dāng)信號(hào)差或外部干擾引起傳輸流網(wǎng)絡(luò)抖動(dòng)時(shí)，為了能夠保證其正常工作，需要提供特殊的機(jī)制減輕或消除網(wǎng)絡(luò)抖動(dòng)的影響，該特殊機(jī)制即為傳輸流防抖動(dòng)機(jī)制。例如：當(dāng)一個(gè)移動(dòng)數(shù)字接收終端，從一個(gè)網(wǎng)絡(luò)信號(hào)強(qiáng)的區(qū)域進(jìn)入信號(hào)弱的區(qū)域再回到信號(hào)強(qiáng)的區(qū)域，該過程中就會(huì)產(chǎn)生網(wǎng)路的波動(dòng)，在信號(hào)弱的區(qū)域，移動(dòng)數(shù)字接收終端接收不到數(shù)據(jù)或接收到的數(shù)據(jù)有誤，使其播放不出節(jié)目或播放馬賽克；當(dāng)重新回到信號(hào)強(qiáng)的區(qū)域時(shí)，移動(dòng)數(shù)字接收終端要求能夠立刻恢復(fù)正常播放，而不能出現(xiàn)靜幀、音視頻不同步等現(xiàn)象。

另外，傳輸流作為一種復(fù)合流，其能包含一個(gè)或多個(gè)節(jié)目數(shù)據(jù)，并且各節(jié)目數(shù)據(jù)都可分開獨(dú)立傳輸，客戶端能夠從傳輸流中抽取出獨(dú)立的節(jié)目?jī)?nèi)容并生成該包含該節(jié)目數(shù)據(jù)的節(jié)目流；當(dāng)網(wǎng)絡(luò)抖動(dòng)數(shù)據(jù)出錯(cuò)時(shí)，同一節(jié)目的音視頻數(shù)據(jù)由于丟失或數(shù)據(jù)出錯(cuò)，很可能會(huì)導(dǎo)致最終的音視頻播放不同步。

當(dāng)前通用的音視頻同步處理機(jī)制如下：系統(tǒng)時(shí)鐘恢復(fù)通過提供一個(gè)外部時(shí)鐘來實(shí)現(xiàn)，音頻、視頻單元的時(shí)間信息PTS(Presentation?Time?stamp，展現(xiàn)時(shí)間戳)可以從解析PES(Packet?Elementary?Stream，分組基本流)包得到，具體實(shí)現(xiàn)如下：

(1)選擇一個(gè)外部時(shí)鐘作為系統(tǒng)參考時(shí)鐘；

(2)設(shè)置音頻、視頻共同的一個(gè)時(shí)間基準(zhǔn)；

(3)以當(dāng)前解析出的音頻、視頻的PTS時(shí)間與時(shí)間基準(zhǔn)的差值作為其呈現(xiàn)時(shí)間；

(4)在音頻、視頻呈現(xiàn)端(顯示端)，根據(jù)系統(tǒng)時(shí)鐘及相應(yīng)的呈現(xiàn)時(shí)間信息依次呈現(xiàn)；若音頻或視頻的呈現(xiàn)時(shí)間大于系統(tǒng)當(dāng)前時(shí)間，則立即呈現(xiàn)；否則，緩存該音頻或視頻直到指定的時(shí)間到來時(shí)才呈現(xiàn)。

或者，上述方法的一種簡(jiǎn)化版本，如下：

(1)以音頻時(shí)鐘作為系統(tǒng)參考時(shí)鐘；

(2)設(shè)置音頻、視頻共同的一個(gè)時(shí)間基準(zhǔn)；

(3)以當(dāng)前解析出的音頻、視頻的PTS時(shí)間與時(shí)間基準(zhǔn)的差值作為其呈現(xiàn)時(shí)間；

(4)在音頻、視頻呈現(xiàn)端(顯示端)，比較音頻、視頻的呈現(xiàn)時(shí)間信息來呈現(xiàn)；若視頻的呈現(xiàn)時(shí)間小于等于音頻的呈現(xiàn)時(shí)間，則立即呈現(xiàn)；否則，緩存該視頻直到指定的時(shí)間到來時(shí)才呈現(xiàn)。

上述兩種方法在傳輸流網(wǎng)絡(luò)發(fā)生抖動(dòng)的時(shí)候，由于沒有一個(gè)很好的預(yù)測(cè)網(wǎng)絡(luò)抖動(dòng)及消除網(wǎng)絡(luò)抖動(dòng)的方法，都會(huì)導(dǎo)致一個(gè)音頻或視頻的停頓，或者是音頻、視頻的不同步。

發(fā)明內(nèi)容

本發(fā)明的目的之一為提供傳輸流音視頻同步及防抖動(dòng)方法，可確保傳輸流音視頻的同步。

本發(fā)明提出一種傳輸流音視頻同步及防抖動(dòng)方法，應(yīng)用于傳輸流解析過程中，所述傳輸流包括節(jié)目時(shí)鐘參考、音頻展現(xiàn)時(shí)間戳以及視頻展現(xiàn)時(shí)間戳，所述方法包括步驟：

將獲取的第一次節(jié)目時(shí)鐘參考設(shè)置為基準(zhǔn)時(shí)間；

判斷網(wǎng)絡(luò)是否發(fā)生抖動(dòng)；如是，更新基準(zhǔn)時(shí)間；否則，進(jìn)行下一步驟；

根據(jù)基準(zhǔn)時(shí)間以及音頻展現(xiàn)時(shí)間戳或者視頻展現(xiàn)時(shí)間戳計(jì)算音頻有效時(shí)間戳或者視頻有效時(shí)間戳。

優(yōu)選地，所述判斷網(wǎng)絡(luò)是否發(fā)生抖動(dòng)的步驟進(jìn)一步包括步驟：

設(shè)置節(jié)目時(shí)鐘參考的突變閾值；

判斷當(dāng)前節(jié)目時(shí)鐘參考與上次節(jié)目時(shí)鐘參考之差的絕對(duì)值是否大于其與突變閾值的乘積；如是，則發(fā)生抖動(dòng)；否則，未發(fā)生抖動(dòng)。

優(yōu)選地，所述更新基準(zhǔn)時(shí)間的步驟進(jìn)一步包括步驟：

將當(dāng)前節(jié)目時(shí)鐘參考與上次節(jié)目時(shí)鐘參考之差與當(dāng)前的基準(zhǔn)時(shí)間相加；

設(shè)定兩者之和為更新的基準(zhǔn)時(shí)間。

優(yōu)選地，所述音頻有效時(shí)間戳的計(jì)算方式為：

將音頻展現(xiàn)時(shí)間戳減去基準(zhǔn)時(shí)間。

優(yōu)選地，所述視頻有效時(shí)間戳的計(jì)算方式為：

將視頻展現(xiàn)時(shí)間戳減去基準(zhǔn)時(shí)間。

本發(fā)明的傳輸流音視頻同步及防抖動(dòng)方法，通過在網(wǎng)絡(luò)出現(xiàn)抖動(dòng)時(shí)，對(duì)基準(zhǔn)時(shí)間進(jìn)行調(diào)整，實(shí)現(xiàn)對(duì)音視頻有效時(shí)間戳的突變，獲取線性增大的音視頻有效時(shí)間戳，以保證視頻平滑流暢以及音視頻同步，提升網(wǎng)絡(luò)傳輸?shù)目煽啃浴?/p>

附圖說明

圖1是本發(fā)明一實(shí)施例中傳輸流的復(fù)用端操作示意圖；

圖2是本發(fā)明一實(shí)施例中傳輸流的解復(fù)用端操作示意圖；

圖3是本發(fā)明一實(shí)施例中傳輸流的復(fù)用及解復(fù)用示意圖；

圖4是本發(fā)明一實(shí)施例中傳輸流音視頻同步及防抖動(dòng)方法的步驟流程圖；

圖5是本發(fā)明一實(shí)施例的一實(shí)施方式中傳輸流音視頻同步及防抖動(dòng)方法的步驟流程圖；