[發明專利]圖像解碼合成輸出的延時處理方法

有效

• 申請號: 201110172867.1
• 申請日: 2011-06-24
• 公開（公告）號: CN102231828A
• 公開（公告）日: 2011-11-02
• 發明（設計）人: 黃瑩;陳春漢;王季煒;黃偉;董明洲;吳松
• 申請（專利權）人: 武漢長江通信產業集團股份有限公司
• 主分類號: H04N7/24
• 分類號: H04N7/24;H04N7/26
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 王超

技術領域

本發明涉及一種針對以視頻(電視機、電視墻)為顯示終端的H.264視頻硬件解碼器的多路通道圖像解碼合成輸出的延時處理方法。

背景技術

隨著Internet和多媒體技術的快速發展，視頻的網絡實時傳輸成為網絡應用的研究熱點之一。H.264標準以其高壓縮率、高質量、低碼率成為目前和下一代網上多媒體傳輸的主要格式和標準。視頻的實時傳輸要求傳輸的時延要小、丟包率要低。

作為基于H.264的視頻服務器，在前端硬件編碼后通過網絡傳送圖像數據包到終端解碼顯示。終端可以是基于客戶端軟件的計算機或者通過視頻解碼器硬件解碼后輸出到視頻(電視機、電視墻)上。然而這兩種終端在圖像刷新上是存在差異的。計算機客戶端軟件接受圖像數據解碼后是實時處理，即解碼器接收端收到多少數據包就可以解多少幀，并且實時刷新。視頻解碼器解碼輸出到視頻(電視機、電視墻)上則是40ms刷新一幀。特別是當解碼器進行多路通道CIF格式(常用視頻標準化格式)的圖像解碼時，接收到視頻編碼器端傳來的圖像數據解碼，以40ms為一個周期刷新一幀。當解碼器接收到遠端傳來的圖像數據解碼時，若解碼器解碼接收的數據包幀數過快，就會造成每個周期內，數據包幀數比每40ms解碼顯示周期快。當在40ms的一個周期內，某一路或者多路圖像發生延時時，還會影響到下一個周期，當這種延時累計到一段比較長的時間時就會造成視頻(電視機、電視墻)圖像和現場圖像發生明顯延時情況，且此圖像延時是不可恢復的。明顯的表現特征是：電視、電視墻顯示的圖像落后于攝像頭實際監控時間，比如：10點了還顯示的是9點30分的監控圖像。

并且，攝像頭端和監控端硬件解碼的顯示端制式不一致，也就是兩種制式同時在一個電視(電視墻)上顯示時，也能產生圖像延遲。攝像頭和顯示端可能是PAL或者NTSC制式，其中PAL的標準是每秒顯示25幀，NTSC的標準時每秒顯示30幀。那么當攝像頭的發送端為PAL制式，接收解碼器端為NTSC制式時，所生的圖像延遲尤為嚴重。經過一段時間的延時積累后，這些延遲就會導致視頻(電視機、電視墻)圖像和現場圖像間有很大的延時，且此圖像延時是不可恢復的，失去了視頻監控的初衷和效果，使實時監控成為一句空話。

視頻(電視機、電視墻)作為輸出的監控終端是最廣泛、最常用的解決方案，具有成本低，效果直觀，操作方便等特點。由于視頻的網絡實時傳輸面臨的較多的不確定性，網絡傳輸質量的起伏比較常見。并且發送端和接收端的幀率不同步的情況一直存在，不可能同步。圖1很直觀的表現出了為什么幀率會不同步。

所以，當以視頻(電視機、電視墻)為終端顯示時，必須要考慮其40ms為一個周期的刷新特性。如果當在40ms的一個周期內某個通道發生延時的情況后，此延時就會一直存在并影響到后面的周期，經過一段時間的積累之后會導致視頻終端(電視機、電視墻)的圖像某個通道和現場圖像之間有相當大的延時，造成圖像顯示都不正常。此情況下的視頻解碼器對于圖像數據包的延時處理具有很迫切的要求。因此，隨著流媒體服務的進一步發展，這類處理方法正受到越來越多的重視。

發明內容

本發明所要解決的技術問題是：提供一種圖像解碼合成輸出的延時處理方法。采用本方法可以修正圖像延時，把所產生的延時控制在可接受的范圍之內，保證實時視頻監控的正常和工作效率。

本發明所采用的技術方案是：圖像解碼合成輸出的延時處理方法，包括以下步驟：

S1)在解碼器端設置一個緩沖區來接收遠端圖像數據包，在緩沖區中設置一個數據包數的高點標記和低點標記；

S2)當緩沖區中數據包數處于低點標記的警戒點，開始計時；當數據包數到達高點標記的警戒點時，紀錄時間長度T以及接收到的幀數M；

S3)計算這段時間內，攝像頭發送端每秒多發出的幀數N，其中N＝M/T；

S4)反饋攝像頭發送端每秒多發出的幀數N給攝像頭發送端，攝像頭發送端在接收到反饋N后，主動降低發送幀率。

進一步地，步驟S2具體包括以下過程：

當緩沖區數據包數處于低點標記的警戒點時，啟動計時器，此時時間為T₀，并紀錄當前幀數M₀；當數據包數到達高點標記的警戒點時，停止計時器，此時時間為T₁，并紀錄當前幀數M₁；時間長度T＝T₁-T₀，這段時間內收到的幀數M＝M₁-M₀。

進一步地，步驟S1的低點標記為10％的緩沖區大小，高點標記為90％的緩沖區大小。