[發明專利]在便攜式多媒體設備中的音頻視頻數據處理

無效

• 申請號: 200580038809.2
• 申請日: 2005-11-17
• 公開（公告）號: CN101057504A
• 公開（公告）日: 2007-10-17
• 發明（設計）人: 威廉·J·D·瑞安;安庫爾·梅羅特拉;拉維·坎特·拉奧
• 申請（專利權）人: 摩托羅拉公司
• 主分類號: H04N7/52
• 分類號: H04N7/52
• 代理公司: 中原信達知識產權代理有限責任公司
• 代理人: 張煥生;謝麗娜

技術領域

本發明總地涉及在電子設備中的數據流處理，更具體地涉及處理例如在可使用多媒體的無線通信設備中的音頻和視頻數據流的非同步數據流，以及方法。

背景技術

在很多能使用多媒體的無線通信終端中，音頻和視頻參考公共的時序源，并且在能從相關的數字信號處理(DSP)設備捕獲編碼的音頻視頻信息的單核處理器中多路復用，其中音頻視頻輸入和輸出緊密耦合。這些公知的體系被設計來提供一組近乎恒定的品質，除了其他包括音頻和視頻的同步。

3GPP和3GPP2標準體系采用電路交換的H.324M協議，使得可使用包括通用移動通信系統(UMTS)WCDM和CDMA2000協議網絡等的第三代(3G)無線通信網絡上的實時應用程序和服務。示例性而非限制性的應用程序和服務包括，視頻電話和會議、視頻監督、實時游戲和視頻點播及其他。

在H.324M中，雖然H.324M協議在接收設備中提供了用于音頻/視頻延遲補償的指令和接口，但音頻和視頻信息是非同步傳輸的。更具體地，H.324M提供了時滯指示消息(skew?indication?message)，使得傳輸終端可向接收終端報告在各音頻和視頻數據流之間的時滯，這可用于補償以提供例如聲像吻合的音頻和視頻數據等的同步數據流。但在H.324協議中，同步并不是強制性的并且接收終端并不要求使用時滯信息來提供同步。

對本領域的技術人員來說，通過仔細考察以下結合附圖所作的詳細描述將使本發明的各個方面、特征和優點變得更加明顯。

附圖說明

圖1是表示示例性的便攜式多媒體設備的結構圖。

圖2描述了用來管理音頻和視頻時滯的示例性的音頻和視頻隊列機制。

圖3描述了選擇性丟棄程序由用于動態減少音頻和視頻的時滯。

圖4描述了選擇性插入程序用于動態增加音頻和視頻的時滯。

圖5是示例性的處理流圖。

具體實施方式

圖1是在無線通信終端100中的示例形式的便攜式多媒體設備，其包括調制解調器110和應用程序實體120，提供了如下更全面討論的在傳輸之前被多路復用的非同步音頻和視頻數據流。例如，在一個實施例中，可使用通用接口將視頻路由到PC或執行從相機的視頻插入，例如，通過未集成有音頻源的通用串行總線(USB)端口進行視頻捕獲和/或繪制。通常，還存在其他的應用和實施例，其中單獨的各數據流源于非同步源或由非同步源提供。在本發明中，數據流源因何不同步是無關緊要的。

在一些實施例中，對于一個或多個數據流源自其中的源(或多個源)，其中的變化會影響時序。例如，從喇叭擴音器到藍牙頭戴式耳機的音頻數據流的源中的改變可能要改變音頻數據時序或時滯，該音頻數據流與相應的希望與該音頻數據流同步的視頻數據流有關。在一些應用中，來自非同步源的多個數據流之間的延遲根據這些數據流中的一個或二者的處理結果而動態改變。時序的改變可能是由于對數據流的一個或兩個的一部分進行編碼或其他處理，例如數字版權管理(DRM)編碼。

在其他的實施例中，當從一個來源獲得視頻時，不必同步音頻和視頻，但當從另一個源獲得視頻時可能需要同步音頻和視頻。例如，一些移動電話包括多個相機，可以由用戶選擇其中的一個或另外一個。但選擇了背向用戶的相機時，與音頻的同步可能不成問題。但當選擇了面向用戶的相機時，通常需要聲像吻合。這樣，在一些實施例中，根據所選擇的視頻來源而需要音頻和視頻的同步。

在當前公開文本中，時滯(skew)是分別從其中獲取第一和第二數據流的非同步源之間近乎恒定的延遲。例如，在一個實施例中，時滯是根據非同步數據流源間的抖動和延遲差的中值或平均值。通常，非同步源要么是用于數據流的始發源要么作為數據流的管道來工作。

在一個實施例中，調制解調器110是無線調制解調器，其支持移動通信協議，例如全球數字移動電話系統(GSM)協議、第3代(3G)通用移動通信系統(UMTS)W-CDMA協議、或幾個CDMA協議中的一個，以及其他移動通信協議。可替換地，該調制解調器可以兼容其他一些無線通信協議，諸如IEEE802.xx等的局域網協議、諸如藍牙等的個人區域網絡協議、和廣域網協議以及其他。在其他的實施例中，該調制解調器可以是短程無線調制解調器，例如兼容DECT或其他無線電話協議。可替換地，該調制解調器可以是有線調制解調器。雖然示例性的多媒體設備包括調制解調器，但當前的公開文本在通常情況下并不要求調制解調器。這樣的未裝配調制解調器的設備包括個人數字助理(PDA)、多媒體播放器、音頻和視頻記錄設備、膝上及筆記本計算機以及其他的便攜式設備，它們中的任何一個也可以包括無線調制解調器。