[發明專利]對主視頻信號和一個或更多個副視頻信號進行編解碼的方法和設備

無效

• 申請號: 200580040519.1
• 申請日: 2005-11-14
• 公開（公告）號: CN101065962A
• 公開（公告）日: 2007-10-31
• 發明（設計）人: 卡斯滕·赫佩爾;迪爾克·岡多爾夫;約布斯特·赫雷恩特;拉爾夫·奧斯特曼;烏韋·揚森;哈特穆特·彼得斯;安德烈·謝溫措;馬爾科·溫特
• 申請（專利權）人: 湯姆森許可貿易公司
• 主分類號: H04N5/92
• 分類號: H04N5/92;H04N7/08;H04N5/45
• 代理公司: 中科專利商標代理有限責任公司
• 代理人: 戎志敏

技術領域

本發明涉及用于對主視頻信號和一個或更多個副視頻信號進行編碼、解碼及呈現的方法和設備。

背景技術

通常，在顯示器上對數字編碼后的視頻信號進行畫中畫(PIP)呈現需要針對每個所顯示的視頻流具有一個視頻解碼器。在電視廣播應用中，由于通常不同的視頻信號是無關的，所以這是不可避免的。然而，在諸如光盤之類的存儲介質的環境下，在著作時間內已經知道了所有的內容。如果主視頻流和輔助PIP視頻流具有聯合時間軸(jointtimeline)，則因而現有技術水平是將輔助PIP視頻信號直接編輯為基本視頻，然后將它們聯合編碼為單個編碼的視頻流。然后，呈現于屏幕的預定位置中的副視頻信號可以用作‘視頻菜單按鈕’，以便將當前主視頻切換至視頻菜單按鈕中預覽的其它視頻流之一。如例如在US-A-2004/0126085中所示，典型的應用將會是在多角度存儲介質中的不同攝像機角度之間進行屏幕切換。

從3D圖形設計中已知，可以在單個圖像(例如，JPEG圖像)中聯合地傳輸用于場景中的各種不同對象的靜態圖像紋理。

發明內容

該方案的主要缺點在于，需要預先設計主視頻信號和一個或更多個輔助PIP類型的視頻信號組的任何組合。除非主視頻的附加版本(不包括PIP視頻信號)是另外地放在盤上的，否則不可以關閉類PIP視頻信號，這使該主視頻所需的存儲容量有效地加倍。

本發明要解決的問題是，能夠僅使用單個視頻解碼器來實現畫中畫視頻顯示，并且對相關視頻信號進行相應地編碼。通過權利要求1和3中公開的方法來解決該問題。在權利要求2和4中公開了利用相應方法的設備。

根據本發明：

-能夠實現時間軸相關的副視頻信號的類PIP呈現；

-從而給出了對于類PIP信號呈現的用戶控制；

-而僅使用一個編碼后的視頻流獲得以上能力。

尤其在高分辨率視頻的情況下，可以為可選PIP視頻信號犧牲一些主視頻分辨率。如圖1所示，將具有例如1920*1080個像素的視頻平面在邏輯上分為例如1680*1080個像素的主視頻窗口MNVID和承載了一個或更多個PIP窗口PIP?1至PIP?5的240*1080個像素的副面板。

在解碼之后，例如如圖2所示地在中心顯示主視頻窗口MNVID，或者將其拉伸或縮放至完全的1920*1080的顯示器大小。依據所選顯示器選項，解碼后像素的縱寬比(縮放之前)將會是方形(在中心的顯示器中)或非方形。

并不直接顯示副面板的視頻內容，而是依據輔助信息，將該副面板的一些部分覆蓋在主視頻窗口MNVID上。如圖2所示，該輔助信息包含與副面板視頻的邏輯內容(例如，大小為240*160個像素的1至6副視頻信號)、以及在主視頻之上的這些副視頻信號中每個的所期望的縮放和位置有關的信息。

由于不再將類PIP信號“硬編碼”為主視頻窗口的事實，所以用戶控制這些附加視頻信號中每一個的顯示和隱藏。另外，可以使用戶能夠控制在例如圖3所示的顯示器的任何位置處對PIP窗口進行定位或縮放。

這些操作中沒有一個操作需要對獨立的視頻流進行解碼和呈現，而在現有技術中需要。因此，顯示、隱藏、縮放或重新定位操作既不導致時間延遲(即，視頻回放的停頓)、也不會需要附加的存儲空間。

在編碼器側，有利地，限制主視頻信號和輔助(PIP)視頻信號的位置和大小，從而使它們的邊界與由編解碼器編碼的實體的邊界一致，典型地，塊或宏塊的大小為16*16個像素。

此外，可以限制應用于先進大多數編解碼器的時間預測，從而對于給定的塊或宏塊，僅使用來自相同邏輯信號的預測數據。即，僅從屬于主視頻區域的像素中預測屬于主視頻區域的宏塊。這同樣也適用于PIP信號中的每一個。

原理上，本發明的方法適于對主視頻信號和一個或更多個副視頻信號進行編碼，所述方法包括以下步驟：

-把所述主視頻信號設置成僅與預定圖像區域的主要部分相關；

-把所述一個或更多個副視頻信號設置成與所述預定圖像區域的剩余部分相關；

-對所述主視頻信號和所述一個或更多個副視頻信號一起編碼，以提供單個編碼后的視頻信號；

-生成與所述一個或更多個副視頻信號有關的位置和縮放信息；

-將所述單個編碼后的視頻信號的數據與所述編碼后的位置和縮放信息的數據組合，用于提供對于存儲介質可控制的組合數據流。

原理上，本發明的設備適于對主視頻信號和一個或更多個副視頻信號進行編碼，所述設備包括：