[發明專利]多媒體視音頻流唇音同步的調測方法

有效

• 申請號: 200610170273.6
• 申請日: 2006-12-26
• 公開（公告）號: CN101212690A
• 公開（公告）日: 2008-07-02
• 發明（設計）人: 薛堯舜;張學英
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: H04N7/62
• 分類號: H04N7/62;H04N7/60
• 代理公司: 北京中博世達專利商標代理有限公司
• 代理人: 申健

技術領域

本發明涉及唇音同步的調測方法，尤其涉及多媒體通訊視音頻流唇音同步的調測方法。

背景技術

因特網作為包交換網絡，不能如E1或者ISDN這些基于電路交換的網絡那樣提供及時的傳送，對于多媒體應用，如果不采用正確的控制方法，會導致原始數據的時間關系嚴重扭曲，具體表現為唇音不同步，大的延遲導致用戶交互的不適應和困難。如何通過自適應算法，有效地通過回放緩沖區控制來抵消網絡抖動帶來的影響，并且同時做到端與端的延遲最小化，是一個值得探討并且具有重大實踐意義的課題，已經引起了很多學術和工程上的關注，也提出了很多相關的算法，這些算法對網絡延遲和抖動進行了建模，根據一定的準則建立了一些目標，并給出了一定的計算機模擬，但這些算法直接用于工程實踐存在一定的問題，不能滿足工程上的簡單合理并且魯棒的要求。下面對工程上常用的一些控制算法做簡單回顧并給出優缺點分析。

傳統的互聯網多媒體唇音同步調測方法主要有以下幾種：

1、手動調整唇音同步

這種算法依賴用戶的主觀感受，在很多媒體播放器中都提供了該選項，用戶通過手工調整音頻緩沖區長度來獲得一定程度的唇音同步。該方法的優點是簡單易行，并且人為判斷比算法判斷更能符合人的主觀感受。在一些場合下，這種算法很有優勢，比如在網絡延遲固定的情況下，一次調整基本就能夠使得唇音同步最佳化。缺點是該方法需要人工干預，并且在IP網絡下，由于延遲的變化，調整值很容易失效。

2、通過音頻緩沖區調整來獲得唇音同步

這種方法在簡單的多媒體應用中，可以根據經驗值調整音頻緩沖區長度來獲得近似的唇音同步。在媒體播放過程中，由于視頻可以在一幀的時間內播放幾幀內容，而音頻必須播放滿一定時間，所以可以通過把音頻緩沖控制在一定范圍內來獲得近似同步，比如緩沖80ms～160ms的數據，并且在監測到網絡狀態不好的情況下，通過增加緩沖區長度以消除網絡抖動的影響，在網絡好的情況下，減少緩沖區長度以降低端到端的延遲。網絡狀態的判斷可以根據所使用的協議提供的探測或者反饋功能(RTP實時傳輸協議中規定的抖動計算過程)來評估。該方法是目前互聯網多媒體播放中比較常用的方法，簡單易行，易于編程，缺點就是比較盲目，在一些特殊情況下魯棒性不夠，而且沒有綜合考慮視頻信息，是一種“偽同步”。

3、根據全局時鐘調整唇音同步

視音頻同步，主要依賴于原始視音頻信號時間關系的復現，如何記錄或者獲得這一原始時間關系，有以下幾種方法：

A)在媒體流或封裝中嵌入時鐘信息。

在視音頻生成的時候就在碼流中嵌入時鐘信息，在解碼側只要按照原始的時間對應關系恢復就可以了，這種方法被一些編解碼器所采用，比如MPEG2就采用了PTS的概念，在播放的時候就基本不存在唇音同步問題。這種方法的缺點就是并非其他媒體編碼規范也會嵌入時鐘信息，如果視頻和音頻編碼過程中相對于系統時鐘的偏移是獨立的，那么很難在解碼側建立這種媒體間的時間對應關系。

B)在額外信道發送同步信息

某些協議可以在帶外數據中指明全局時鐘相關的同步信息。比如針對RTP傳輸的RTCP(實時傳輸控制協議)規范中采用了發送者報告SR的方式給出了視音頻同步信息，解碼側收到了一個SR報告后，就可以根據相關信息調整緩沖區來達到同步的目的。缺點就是可能有些協議不實現或者不強制實現這種同步機制，協議實現并不發送這種包含同步信息的帶外數據，這種方法就無法使用。

發明內容

為了解決現有技術中存在的問題，本發明的目的在于提供一種多媒體視音頻流唇音同步的調測方法，該方法能夠有效控制多媒體流的唇音同步，同時為系統的Qos性能提供一個規范的量化標準。

為達到上述目的，本發明多媒體視音頻流唇音同步的調測方法，包括如下步驟：

(1)在多媒體視音頻流解碼端真實時鐘的基礎上建立虛擬時鐘模型；

(2)根據自適應延遲算法和同步控制算法的計算結果，調整所述虛擬時鐘，獲得多媒體視音頻流唇音同步。

所述步驟(1)中建立虛擬時鐘模型的方法為：

(11)設置虛擬時鐘的初始值為收到的多媒體流的第一個MDU(媒體數據單元)的時戳；

(12)獲取每一個抵達的MDU的生成時間和抵達時間；

(13)解碼端將所述每一個抵達的MDU的生成時間作為其回放時間，將每一個抵達的MDU的抵達時間作為虛擬時鐘采樣，比較所述生成時間和抵達時間并重新調度回放時間，獲得自適應的回放期限。

所述步驟(2)中，自適應延遲算法包括：