[發(fā)明專利]低延時(shí)視頻解碼

有效

• 申請(qǐng)?zhí)枺?/td>: 201110414227.7
• 申請(qǐng)日: 2011-12-13
• 公開(kāi)（公告）號(hào): CN102447906A
• 公開(kāi)（公告）日: 2012-05-09
• 發(fā)明（設(shè)計(jì)）人: 吳勇軍;G.紀(jì);S.薩瓦尼
• 申請(qǐng)（專利權(quán)）人: 微軟公司
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;H04N7/50
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 謝建云;劉鵬

背景技術(shù)

工程師使用壓縮（也稱為源碼化或者源編碼）來(lái)減少數(shù)字視頻的位率。壓縮通過(guò)將視頻信息轉(zhuǎn)換為更低位率形式來(lái)減少存儲(chǔ)和傳送信息的成本。解壓縮（也稱為解碼）從壓縮的形式重構(gòu)原信息的版本?！熬幗獯a器（codec）”為編碼器/解碼器系統(tǒng)。

在過(guò)去二十年，已經(jīng)采用包括H.261、H.262（MPEG-2）和H.263標(biāo)準(zhǔn)以及MPEG-1和MPEG-4標(biāo)準(zhǔn)的各種視頻編解碼器標(biāo)準(zhǔn)。近來(lái)，已經(jīng)采用H.264標(biāo)準(zhǔn)（有時(shí)稱為AVC或者14496-10）和VC-1標(biāo)準(zhǔn)。關(guān)于更多細(xì)節(jié)，參見(jiàn)相應(yīng)標(biāo)準(zhǔn)的代表性版本。視頻編解碼器標(biāo)準(zhǔn)通常為編碼視頻位流的語(yǔ)法定義選項(xiàng)，從而詳述當(dāng)在編碼和解碼中使用特定特征時(shí)必須在用于視頻序列的位流中的參數(shù)。在許多情況下，視頻編解碼器標(biāo)準(zhǔn)也提供與解碼器為了在解碼時(shí)實(shí)現(xiàn)正確結(jié)果而應(yīng)當(dāng)執(zhí)行的解碼操作有關(guān)的細(xì)節(jié)。

壓縮的基本目標(biāo)在于提供良好的速率-失真性能。因而，對(duì)于特定位率，編碼器嘗試提供最高視頻質(zhì)量?；蛘邔?duì)于原視頻的特定質(zhì)量/保真度水平，編碼器嘗試提供最低位率的編碼視頻。在實(shí)踐中，根據(jù)使用場(chǎng)景，比如編碼時(shí)間、編碼復(fù)雜度、編碼資源、解碼時(shí)間、解碼復(fù)雜度、解碼資源、總延遲和/或回放流暢度之類的考慮也影響在編碼和解碼期間作出的決定。

例如，考慮比如從存儲(chǔ)設(shè)備的視頻回放、從通過(guò)網(wǎng)絡(luò)連接流化的編碼數(shù)據(jù)的視頻回放和視頻轉(zhuǎn)碼（從一種位速率到另一位率或者從一個(gè)標(biāo)準(zhǔn)到另一標(biāo)準(zhǔn)）之類的使用場(chǎng)景。在編碼器側(cè)，這樣的應(yīng)用可以允許完全對(duì)時(shí)間不敏感的離線編碼。因此，編碼器可以增加編碼時(shí)間并且增加在編碼期間使用的資源，以發(fā)現(xiàn)最高效的視頻壓縮方式，并且由此提高速率-失真性能。如果在解碼器側(cè)也可接受少量延遲（例如在啟動(dòng)時(shí)3-10秒），則編碼器可以例如通過(guò)利用來(lái)自序列中的向前更遠(yuǎn)畫(huà)面的畫(huà)面間相關(guān)性來(lái)進(jìn)一步提高速率-失真性能。

對(duì)于多數(shù)視頻回放場(chǎng)景，在解碼器側(cè)，在回放開(kāi)始之前可接受3-10秒或者更多延遲，只要回放在開(kāi)始之后無(wú)中斷即可。受制于這個(gè)流暢回放約束，解碼器免于貢獻(xiàn)附加資源用于多線程解碼或者多處理器解碼。事實(shí)上，在一些情況下，解碼器可以增加延時(shí)以便允許更高效利用解碼資源。

另一方面，考慮比如遠(yuǎn)程桌面會(huì)議、監(jiān)控視頻、視頻電話和其它實(shí)時(shí)通信場(chǎng)景之類的使用場(chǎng)景。這樣的應(yīng)用對(duì)時(shí)間敏感。在記錄輸入畫(huà)面與回放輸出畫(huà)面之間的低延時(shí)是性能方面的關(guān)鍵因素。當(dāng)在實(shí)時(shí)通信場(chǎng)景中應(yīng)用適合于非實(shí)時(shí)通信的編碼/解碼工具時(shí)，總延時(shí)經(jīng)常高到不可接受。這些工具在編碼和解碼期間引入的延遲可以提高普通視頻回放的性能，但是它們破壞實(shí)時(shí)通信。

發(fā)明內(nèi)容

概括而言，具體實(shí)施方式給出了用于減少視頻解碼時(shí)的延時(shí)的技術(shù)和工具。該技術(shù)和工具幫助減少延時(shí)以便提高實(shí)時(shí)通信中的響應(yīng)度。例如，這些技術(shù)和工具通過(guò)移除或者甚至消除在解碼期間的各種階段處的緩沖來(lái)減少總延時(shí)，這提高了響應(yīng)度，但是可能在其它方面引起某個(gè)量的性能損失。

根據(jù)這里描述的技術(shù)和工具的一個(gè)方面，一種工具（比如視頻解碼器、具有視頻解碼器的實(shí)時(shí)通信工具或者具有視頻解碼器的其它工具）選擇低延時(shí)解碼模式，該解碼模式的特征在于與其他解碼模式相比的更低延時(shí)解碼。至少部分基于所選解碼模式，工具調(diào)節(jié)一個(gè)或者多個(gè)解碼方面以有助于低延時(shí)解碼。例如工具調(diào)節(jié)輸出定時(shí)確定、畫(huà)面邊界檢測(cè)、飛行中的畫(huà)面數(shù)目和/或抖動(dòng)緩沖器利用率。工具接收用于視頻序列的位流中的編碼數(shù)據(jù)，并且利用視頻解碼器根據(jù)所選的解碼模式對(duì)編碼數(shù)據(jù)中的至少一些編碼數(shù)據(jù)進(jìn)行解碼以重建畫(huà)面。工具然后輸出畫(huà)面用于顯示。

在低延時(shí)解碼模式中，輸出定時(shí)確定可以使用位流中的的幀計(jì)數(shù)語(yǔ)法元素（如果存在）來(lái)設(shè)置用于解碼畫(huà)面緩沖器（DPB）（例如，如在H.264標(biāo)準(zhǔn)中定義）的初始輸出延遲。幀計(jì)數(shù)語(yǔ)法元素指示幀重新排序延遲。例如，幀重新排序延遲是按照編碼順序可以先于給定幀、但是按照顯示順序跟隨給定幀的幀的最大計(jì)數(shù)。在一些實(shí)施方式中，幀計(jì)數(shù)語(yǔ)法元素作為用于視頻序列的視頻可用性信息（VUI）參數(shù)而用信號(hào)通知的num_recorder_frames語(yǔ)法元素。

比較而言，其它解碼模式向視頻回放提供更高延時(shí)。在其它解碼模式中，例如當(dāng)DPB已滿時(shí)開(kāi)始從DPB輸出畫(huà)面，因而初始輸出延遲依賴于DPB的大小。使用幀計(jì)數(shù)語(yǔ)法元素來(lái)確定初始輸出延遲可以允許輸出更早5幀或者更多幀（在許多情況下高達(dá)16幀）開(kāi)始。