[發明專利]使伴隨消息數據包括在壓縮視頻比特流中的系統和方法

在審

• 申請號: 201580079064.8
• 申請日: 2015-03-31
• 公開（公告）號: CN107852518A
• 公開（公告）日: 2018-03-27
• 發明（設計）人: 蔡家揚;吳剛;王凱;林裕華
• 申請（專利權）人: 瑞爾數碼有限公司
• 主分類號: H04N21/236
• 分類號: H04N21/236;H04N21/434
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 梁麗超,田喜慶

技術領域

本公開涉及視頻信號的編碼和解碼，并且更具體地，涉及將伴隨消息數據插入壓縮視頻比特流中以及從壓縮視頻比特流提取伴隨消息數據。

背景技術

數字多媒體(諸如，數字圖像、語音/音頻、圖形以及視頻)的到來顯著改進了各種應用并且由于相對易用性而開拓了嶄新的應用，通過該數字多媒體，已經能夠進行內容的可靠存儲、通信、傳輸以及搜索和訪問。總體上，數字多媒體的應用已存在許多，涵蓋包括娛樂、信息、醫療和安全的廣泛范圍，并且以許多方式使社會受益。如通過諸如照相機和麥克風的傳感器捕獲的多媒體通常是模擬的，并且以脈沖編碼調制(PCM)的形式的數字化的處理使其數字化。然而，僅在數字化之后，所得數據量可相當巨大，因為這是重建揚聲器和/或TV顯示器所需的模擬表示所必需的。因此，大量數字多媒體內容的有效通信、存儲和/或傳輸需要其從原始PCM形式壓縮為壓縮表示。因此，用于壓縮多媒體的許多技術已被發明。多年來，視頻壓縮技術已變得非常復雜直到它們可通常在保持高的心理視覺質量的同時實現10與100之間的高壓縮因子的點，通常類似于未壓縮數字視頻。

迄今為止，在視頻壓縮的藝術與科學中已取得巨大進步(如通過諸如MPEG-1、MPEG-2、H.263、MPEG-4第2部分、MPEG-4AVC/H.264、MPEG-4SVC和MVC的過多的標準主體驅動視頻編碼標準以及諸如Windows Media視頻、RealVideo、On2VP等的行業驅動專有標準展現的)。然而，消費者對于更高質量、更高清晰度以及現在3D(立體)視頻的不斷增加的欲望，無論何時何地都可訪問使得通過空中廣播、電纜/衛星、有線和移動網絡，經由諸如DVD/BD的各種裝置向一系列客戶端設備(諸如，PC/膝上型電腦、TV、機頂盒、游戲控制臺、便攜式媒體播放器/設備、智能手機以及可穿戴計算設備)的傳送成為必需，這推動了對更高級別的視頻壓縮的期望。在標準主體驅動的標準中，這由ISO MPEG在高效率視頻編碼中最近開始的努力所證明，期望該努力將新的技術貢獻與來自ITU-T標準委員會多年來對H.265視頻壓縮所作的探索性工作的技術組合起來。

所有前述標準采用總體幀間預測編碼框架，該框架涉及通過將幀首先劃分為子單元(即，編碼塊、預測塊和變換塊)，通過補償視頻幀之間的運動來降低時間冗余。運動矢量被分配至相對于過去解碼幀(其可以是按照顯示順序的過去幀或未來幀)的將被編碼幀的每個預測塊；這些運動矢量隨后被傳輸至解碼器并且用于生成與過去解碼幀差分并且逐塊編碼(通常通過變換編碼)的運動補償預測幀。在過去的標準中，這些塊通常為十六乘十六像素。

然而，幀大小已大大增加，并且許多移動設備具有顯示高于“高清晰度”(或“HD”)幀大小(諸如，2048×1530像素)的能力。因此，需要更大尺寸的塊來有效編碼用于這些幀大小的運動矢量。然而，也可期望能夠對相對小規模(例如，4×4像素)執行預測和變換。

在最先進的視頻壓縮技術中，運動補償是編碼解碼器設計中的必需部分。基本概念是通過使用塊匹配方法來移除相鄰圖片之間的時間依賴性。如果編碼塊可在基準圖片中找到另一類似塊，則只有這兩個編碼塊之間的差異(被稱為“殘余”或“殘余信號”)被編碼。此外，表示這兩個匹配塊之間的空間距離的運動矢量(MV)也被編碼。因此，只有殘余和MV被編碼，而不是編碼塊中的整個樣本都被編碼。通過移除該類型的時間冗余，視頻樣本可被壓縮。

為了進一步壓縮視頻數據，在已應用幀間或幀內預測技術之后，殘余信號的系數通常從空間域變換為頻域(例如，使用離散余弦變換(“DCT”)或離散正弦變換(“DST”))。對于自然發生的圖像，諸如通常構成人類可感知視頻序列的圖像類型，低頻能量總是比高頻能量更強。因此，與殘余信號在空間域中相比，頻域中的殘余信號獲得更好的能量集中。在正向變換之后，與任意運動矢量和相關語法信息一起，系數被量子化和熵編碼。對于每一幀的未編碼視頻數據，對應編碼系數和運動矢量構成視頻數據有效載荷，并且相關語法信息構成與視頻數據有效載荷相關聯的幀報頭。

在解碼器側上，逆量化和逆變換應用于系數以恢復空間殘余信號。反向預測處理然后可被執行以便生成重塑版本的原始未編碼視頻序列。這些是對大多數視頻壓縮標準(如果不是所有視頻壓縮標準)共用的典型預測/變換/量化處理。

在常規視頻編碼/解碼系統中，比特流的幀報頭級別處的所有元素設計為用于向下游解碼器傳輸編碼相關的語法信息。然而，編碼器的操作者可期望向下游解碼系統提供額外信息，諸如，與被傳輸的材料的版權相關的信息、標題、作者姓名、數字版權管理(“DRM”)等。