[發明專利]形成視頻流的方法及圖像處理單元

有效

• 申請號: 201810378469.7
• 申請日: 2018-04-25
• 公開（公告）號: CN108737837B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 維克托·埃德帕爾姆;比約恩·阿多
• 申請（專利權）人: 安訊士有限公司
• 主分類號: H04N19/513
• 分類號: H04N19/513;H04N19/57;H04N19/573;H04N23/68
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 史迎雪;王琦

本發明涉及形成視頻流的方法及圖像處理單元。公開了用于基于由相機捕捉到的場景的圖像來形成視頻流的方法。該方法包括：編碼器基于由相機捕捉到的圖像對圖像幀進行編碼，以形成視頻流的編碼部分；確定樣本圖像幀的運動長度，樣本圖像幀是編碼部分中的編碼后的圖像幀中的一個，運動長度指示樣本圖像幀相對于時間上在先的圖像幀的、相機與場景之間的相對運動量；基于編碼器的運動矢量搜索范圍來設定運動長度閾值；將所確定的運動長度與所設定的運動長度閾值進行比較；基于比較的結果，對視頻流的至少調整部分的所選時間性幀距離進行調整，其中調整部分被包括在編碼部分中或者在時間上稍后的編碼部分中。還公開了被配置為形成視頻流的圖像處理單元。

技術領域

本發明涉及視頻編碼領域，并且更具體地涉及如何形成視頻流以用于編碼。

背景技術

在諸如網絡相機監控系統的數字視頻系統中，使用各種視頻編碼方法在傳輸和/或存儲之前對視頻序列進行壓縮。在許多數字視頻編碼系統中，使用兩種主要模式來對一系列視頻幀中的視頻幀進行壓縮：幀內模式以及幀間模式。在幀內模式中，通過預測、變換和熵編碼并利用單個幀的給定信道中的像素的空間性冗余，來對亮度和色度信道進行編碼。編碼后的幀被稱為幀內幀(intra-frames)，并且也可被稱為I幀。在幀內幀中，像素塊(也稱為宏塊、編碼單元或編碼樹單元)以幀內模式被編碼，這意味著參考相同圖像幀內的相似塊來對像素塊進行編碼，或者對像素塊進行沒有任何參考的原始編碼。幀間模式反而是利用單獨的幀之間的時間性冗余，并且依賴于運動補償預測技術，該運動補償預測技術通過針對所選像素塊對從一幀到另一幀的像素運動進行編碼，從而根據一個或多個先前幀來對幀的部分進行預測。編碼后的幀被稱為幀間幀(inter-frames)，并且可以被稱為P幀(前向預測幀)，P幀可以參考解碼順序下的先前幀，或B幀(雙向預測幀)，B幀可以參考兩個或更多個先前解碼的幀并且可以具有用于預測的幀的任意顯示順序關系。在幀間幀中，像素塊可以以幀間模式被編碼，這意味著參考先前解碼的圖像中的相似塊對像素塊進行編碼，或者像素塊可以以幀內模式被編碼，這意味著參考相同圖像幀內的相似塊來對像素塊進行編碼或者對像素塊進行沒有任何參考的原始編碼。

幀間幀通常比幀內幀需要更少的比特來表示圖像。類似地，幀間幀的幀間編碼塊需要比幀內編碼塊更少的比特位。因此，為了節約存儲空間和傳輸帶寬，使用幀間幀并且在幀間幀中使用少量的幀內編碼塊是有益的。

當要對像素塊進行幀間編碼時，搜索參考幀中充分相似的像素塊。如前所述，參考幀是先前被編碼并解碼的圖像幀。由于參考幀中的塊被認為與當前圖像中的將被編碼的塊足夠相似而被用作參考塊，因此當前圖像幀中的塊與參考幀中的潛在可能的塊之間的差值必須低于預定的相似度閾值。該差值可以例如被表示為絕對差值的合計值SAD。通過獲取當前圖像幀中的像素與參考幀中的比較塊中的對應像素之間的絕對差值并且針對塊中的所有像素計算所有這種差值的合計值，來計算SAD。因此，SAD可以被表示為如下：

這里，N是所研究的塊中的像素的數量，V_c,n是當前圖像幀中的像素n的像素值，并且V_r,n是參考幀中的對應像素n的像素值。

如果搜索從其開始的塊被認為與將被編碼的塊相似，則將該第一塊用作參考塊，并且計算出運動矢量，該運動矢量用于描述圖像幀中的將被編碼的塊相比于參考幀中的參考塊位移了多少。