[發明專利]用于數字視頻的自適應同步解碼的方法、設備和計算機程序產品

有效

• 申請號: 200880126577.X
• 申請日: 2008-12-09
• 公開（公告）號: CN101946518A
• 公開（公告）日: 2011-01-12
• 發明（設計）人: A·瓦奎羅;V·戈恩迪
• 申請（專利權）人: 諾基亞公司
• 主分類號: H04N7/52
• 分類號: H04N7/52
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

技術領域

本發明的實施方式一般地涉及數字視頻回放技術，以及尤其涉及用于通過自適應同步解碼維持音頻/視頻同步的方法、設備和計算機程序產品。

背景技術

現代通信時代已經帶來了有線和無線網絡的極大發展。計算機網絡、電視網絡和電話網絡正在經歷由消費者需求驅動的前所未有的技術發展。無線和移動網絡技術已經解決有關的消費者需求，同時提供了信息傳送的更多靈活性和即時性。

網絡的這種擴展和通信模式的增長已經允許創造和遞送逐漸增長的復雜數字視頻，諸如從遠程網絡設備通過下載媒體內容文件或流式傳輸數字視頻文件到本地網絡終端。隨著帶寬和網絡范圍的擴展已經允許日益復雜的數字視頻并且向甚至移動設備終端遞送視頻內容，諸如在個人計算機以及諸如PDA和蜂窩電話之類的移動設備中使用的計算機硬件和軟件的能力需要增長，從而跟上對現代數字視頻回放日益增長的需求。

盡管硬件和軟件發展，但是視頻內容總是可以被創建得超過系統的能力，而不論涉及的軟件或硬件、使用哪些編解碼器或視頻內容的分辨率為何。當視頻內容超過播放它的系統的能力時，結果通常是被稱為音頻/視頻同步丟失或AV同步(有時也稱為步調)的丟失。理想地，當視頻內容在設備上播放時，音頻和視頻軌道將彼此保持同步，因此，例如，當視頻中的人說話時，該語音的音頻軌道將和該人張開嘴的視頻軌道同步，通常也稱為唇同步。然而，當視頻的復雜度超過播放它的系統的能力時，在較輕微的情況下，唇同步可能丟失，并且該人的語音音頻可能略微早于或略微遲于示出正在移動他的嘴的視頻來播放。在播放視頻內容的要求大大超過系統能力的較嚴重情況下，視頻回放可能周期性地定格或整體拖延，而音頻軌道可能繼續播放或可能不繼續播放。AV同步的此類丟失對觀眾的體驗是有害的。

為了嘗試在視頻內容超過系統能力的情況下保持AV同步，過去已經提出了若干算法，其中丟棄稱為幀的視頻和/或音頻軌道的部分。雖然丟棄音頻幀可以幫助保持AV同步，但是極大地降低觀眾的體驗，因為遺失的音頻幀對觀眾來說幾乎總是明顯的。另一方面，在多數情況下，丟棄一個或多個視頻幀并不是必然地會被觀眾注意到。例如，美國電視標準規定使用每秒30視頻幀，而歐洲標準指定使用每秒25幀用于視頻回放，在這兩種回放標準之間，觀眾不能察覺到任何明顯的區別。所以，當視頻內容超出系統能力時，在系統中為了最好地保持AV同步，理想的途徑是丟棄一個或多個視頻幀而不丟棄任何音頻幀。

丟棄視頻幀可能出現在兩個級別：(1)在后處理之前或(2)在解碼之前。在被解碼之后但在被后處理之前丟棄視頻幀的第一情況中，每當一個幀輕微晚些到達后處理器，將不會對其進行后處理或呈現，這在理論上將為按時對下一幀進行后處理和顯示節約足夠的時間。在第二情況中，晚些到達解碼器的幀可以在被解碼前丟棄。

為了更好的理解在第二情況中如何在解碼前在解碼器級處丟棄視頻幀，首先需要理解視頻幀是如何分類的。出于簡單的目的，本申請所撰寫的說明書將視頻幀分類兩個類型之一，關鍵幀或非關鍵幀。在本領域中，關鍵幀也被稱為幀內編碼幀或i-幀，并且是自包含的視頻幀，其包含所有完全呈現單個視頻幀而不參考任何之前或隨后的幀所需的所有信息。非關鍵幀也被稱為預測幀(p-幀)或雙向幀(b-幀)，另一方面，非關鍵幀不是自包含的并包括可供一個或多個之前或隨后幀參考的數據。例如，在短視頻中，一個對象可以逐漸地通過幀序列移動，而背景視頻內容的其余部分維持同樣的定位。因此，最后關鍵幀之后的非關鍵幀只包含用于描述一個移動物體位置中移動所需的數據，而不包括任何關于如何完全呈現剩余的視頻內容背景的數據。因此，由于在序列中，視頻幀可以參考之前的和/或之后的視頻幀，所以每當在解碼器級丟棄幀時，都可以存在可視的后果，因為丟棄幀將導致參考所丟棄幀的任何幀被不正確地呈現，因為其遺失了對完全呈現來說必須的某些信息部分。于是，當任何幀被丟棄時，可視質量迅速下降，并且僅在只要不丟棄隨后的非關鍵幀就對關鍵幀進行解碼并保持時才可以恢復可視質量。

當在解碼器級丟棄幀時，之前對導致可視質量降低最常用的現有技術方案是一旦任何非關鍵幀遲到，就丟棄所有連續的幀直到下一關鍵幀。在此方法下，一旦丟棄任何非關鍵幀直到下一關鍵幀到達，則對傳入視頻幀的顯示將停止。如果視頻片段幾乎不包括關鍵幀，則觀眾可能獲得回放已經停止或掛起的印象。