[發(fā)明專利]音頻視頻同步方法、裝置以及數(shù)據(jù)接收終端

有效

• 申請?zhí)枺?/td>: 200910046978.0
• 申請日: 2009-03-04
• 公開（公告）號: CN101827271A
• 公開（公告）日: 2010-09-08
• 發(fā)明（設計）人: 朱勝;裘風光
• 申請（專利權）人: 聯(lián)芯科技有限公司
• 主分類號: H04N7/52
• 分類號: H04N7/52
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 駱希聰

技術領域

本發(fā)明涉及低碼率無線信道傳輸，尤其是涉及低碼率無線信道終端在高誤碼率環(huán)境下的音頻視頻同步方法及其裝置，以及用于實現(xiàn)視頻音頻同步的數(shù)據(jù)接收終端。?

背景技術

低碼率無線信道終端在高誤碼率環(huán)境下，因為發(fā)送端、網(wǎng)絡、接收端的處理而引起音頻視頻不同步，包含主要原因為：1、由于發(fā)送端對視頻碼率的控制會導致視頻幀率引起相應的變化；2、由于網(wǎng)絡抖動或網(wǎng)絡誤碼會引起音頻視頻數(shù)據(jù)時序的變化；3、由于接收端對音頻視頻數(shù)據(jù)的緩存而延遲播放；這三個原因在實際開發(fā)過程中都是實際存在的，然而這些原因?qū)е碌囊纛l視頻不同步并沒有得到有效地解決。?

H.324/M國際標準可以在無線電路交換網(wǎng)絡中支持實時多媒體服務應用。該標準包含的幾個子協(xié)議標準是：語音、視頻、用戶數(shù)據(jù)和控制數(shù)據(jù)的多路復用和分離(H.223)；3GPP采納H.324/M建議作為3G網(wǎng)絡傳統(tǒng)視頻電話的一個標準，被其采納的建議被命名為3G-324M，3G-324M終端是應用于無線電路交換網(wǎng)絡的視頻、音頻和數(shù)據(jù)的實時傳輸設備，但是它針對話音、視頻和多路復用操作提出了一些要求，如：它指定H.263作為強制(視頻編碼)基本標準，而把MPEG-4作為視頻編碼推薦標準；指定AMR作為強制音頻編碼標準，而把G.732.1作為音頻編碼推薦標準；添加H.223附件B用來保護復用數(shù)據(jù)。?

3G業(yè)務中規(guī)定誤碼率可以達到10^-4到10^-6，在信號質(zhì)量比較差的情況下，誤碼率將達到10^-3，所以因為誤碼原因，會使視頻質(zhì)量下降。同時目前3G-324M業(yè)務中沒有使用音頻視頻同步措施，如果通話時間過長，用戶會明顯感覺出音頻視頻不同步。?

下面以videophone業(yè)務為例介紹現(xiàn)有技術存在的問題：?

根據(jù)3G324協(xié)議規(guī)定，建議采用CS?64K信道傳輸，視頻數(shù)據(jù)的碼率為48kbps左右、幀率在5～15幀/秒、音頻數(shù)據(jù)的碼率為12kbps左右、幀率為50幀/秒方案，目前是通過H.245中失真指示H223SkewIndication來實現(xiàn)同步的，即(可以參考ITU-T?H.245)：?

H223SkewIndication::＝SEQUENCE?

{?

logicalChannelNumber1?LogicalChannelNumber，?

logicalChannelNumber2?LogicalChannelNumber，?

skew?INTEGER(0..4095)，--單位ms?

}?

此失真指示用于指示遠程終端視頻邏輯信道和音頻邏輯信道間時間失真的平均值。其中l(wèi)ogicalChannelNumber1和logicalChannelNumber2均為處于打開狀態(tài)的邏輯信道的信道編號。失真信息包括采樣時間、編碼器時延以及發(fā)送端緩存器時延的差異，并且失真以表示給定采樣點數(shù)據(jù)的首比特傳輸時間為基準度量。此失真信息不包括網(wǎng)絡抖動或網(wǎng)絡誤碼會引起音頻視頻數(shù)據(jù)時序變化的信息。?

H.245中的失真指示H223SkewIndication只包括發(fā)送端音頻視頻采樣時間、編碼器編碼時延以及發(fā)送端的緩存器時延的信息，它表明只是由于發(fā)送端的原因而引起的差異才導致音頻視頻不同步，并沒有包括由于網(wǎng)絡抖動或網(wǎng)絡誤碼會引起音頻視頻數(shù)據(jù)時序的變化和接收端對音頻視頻數(shù)據(jù)的緩存信息，這種方法只能部分地解決音頻視頻同步現(xiàn)象，不能徹底地解決不同步問題。由于視頻的幀率是在不斷變化、存在網(wǎng)絡抖動或網(wǎng)絡誤碼、接收端存在數(shù)據(jù)緩沖等原因，進行一段時間的視頻通話后，仍然會導致音頻視頻不同步。?

發(fā)明內(nèi)容

本發(fā)明所要解決的技術問題是提供一種低碼率無線信道在高誤碼率環(huán)境下的音頻視頻同步方法、其裝置，以及實現(xiàn)音頻視頻同步的數(shù)據(jù)接收終端。?

本發(fā)明為解決上述技術問題而采用的技術方案是提出一種音頻視頻同步方法，是應用于低碼率無線信道在高誤碼率環(huán)境下的音頻視頻同步，該方法包?括：?

于數(shù)據(jù)發(fā)送端，在所發(fā)送的視頻數(shù)據(jù)和音頻數(shù)據(jù)中分別加入視頻時間戳和音頻時間戳；以及?

于數(shù)據(jù)接收終端，執(zhí)行步驟：?

獲取接收的音頻數(shù)據(jù)及相應的音頻時間戳，并記錄本地當前時鐘；?

獲取接收的視頻數(shù)據(jù)及相應的視頻時間戳，形成完整的視頻數(shù)據(jù)幀，并記錄本地當前時鐘；?

依據(jù)音頻數(shù)據(jù)幀的音頻時間戳及本地當前時鐘計算所述音頻抖動時間；?