[發明專利]基于圖像視覺質量的視頻傳輸方法、系統及裝置

有效

• 申請號: 201010227359.4
• 申請日: 2010-07-07
• 公開（公告）號: CN101895752A
• 公開（公告）日: 2010-11-24
• 發明（設計）人: 戴瓊海;楊鈾
• 申請（專利權）人: 清華大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/68;H04L29/06
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

技術領域

本發明涉及圖像技術領域，特別涉及一種基于視覺質量的自由視點或多視點視頻傳輸方法、系統及裝置。

背景技術

自由視點視頻是一種全新的視頻形式，是繼平面數字電視、立體數字電視之后，能提供豐富的人機交互、靈活地以平面和立體的形式進行顯示的視頻形式。隨著移動多媒體時代的到來，越來越多的人利用手機、個人數字助理(PDA)和筆記本電腦等終端設備接入通信網絡，并借助終端移動性和網絡覆蓋性，享受無處不在的視聽娛樂。具有靈活交互手段的自由視點視頻與無所不在的通信網絡之間相結合，將為未來3G移動通信、IPv6拓展新的、更具吸引力的業務平臺。

當前各國主流研究機構、大學都對基于各種技術條件下的自由視點視頻展開了研究，許多公司都對這一前沿領域進行了實用化、產品化的探索。但是，這些方案主要是針對自由視點視頻業務的數據量大的特點，采用一些諸如H.264視頻壓縮標準、JMVM多視點視頻壓縮平臺等措施來對自由視點視頻數據進行壓縮。這些方法都默認網絡在任何時候都有充足的能力來處理自由視點視頻流。這顯然是不夠合理的。眾所周知，基于移動互聯網絡的多媒體系統存在異構性因素，即節目源在壓縮方式、時間和空間分辨率以及信息速率方面都存在不同，不同終端之間的處理能力也存在明顯差異。所以，將視頻編解碼和網絡協議簡單組合的方法是很難對各種終端奏效的，尤其是在網絡可用資源的限制將對視頻服務的質量造成重大影響的情況下。

因此，如何在網絡資源有限的情況下進一步提高客戶端重構的圖像質量成為了亟待解決的問題。

發明內容

本發明的目的旨在至少解決上述技術缺陷之一，提出了一種用于基于視覺質量的自由視點視頻或多視點視頻傳輸方法、系統及裝置。

為達到上述目的，本發明一方面提出一種基于視覺質量的自由視點視頻或多視點視頻傳輸方法，包括以下步驟：服務器接收原始或經編解碼后的自由視點視頻或多視點視頻信號；所述服務器計算虛擬視點圖像的視覺質量；所述服務器根據所述虛擬視點圖像的視覺質量確定上述自由試點視頻或多視點視頻信號編碼的量化參數QP；和所述服務器根據確定的所述QP對所述自由視點視頻或多視點視頻信號重新進行編碼壓縮，并向一個或多個客戶端發送。

本發明另一方面還提出了一種基于視覺質量的自由視點視頻或多視點視頻傳輸系統，包括服務器和一個或多個客戶端，所述服務器，用于接收原始或經編解碼后的自由視點視頻或多視點視頻信號，并計算虛擬視點圖像的視覺質量，以及根據所述虛擬視點圖像的視覺質量確定上述自由試點視頻或多視點視頻信號編碼的量化參數QP，和根據確定的所述QP對所述自由視點視頻或多視點視頻信號重新進行編碼壓縮，并向一個或多個客戶端發送；所述客戶端，用于接收所述服務器發送的碼流，并根據用戶選擇的虛擬視點，利用視頻及對應視差進行虛擬視點的繪制，并將繪制結果顯示給用戶。

本發明再一方面還提出了一種服務器，包括編碼器和QP調整模塊，所述編碼器，用于接收原始或經編解碼后的自由視點視頻或多視點視頻信號，并根據量化參數QP對所述自由視點視頻或多視點視頻信號進行編碼壓縮，并向一個或多個客戶端發送；所述QP調整模塊，用于計算虛擬視點圖像的視覺質量，并根據所述虛擬視點圖像的視覺質量調整所述QP。

本發明再一方面還提出了一種客戶端，包括權重判定模塊、解碼與差錯隱藏模塊和視點選擇與虛擬視點繪制模塊，所述權重判定模塊，用于判斷接收到的幀碼流是否應該被舍棄以及是否為不能解碼的差錯幀；所述解碼與差錯隱藏模塊，用于當接收到的幀為差錯幀時，則將其同時刻所有視點的視頻幀，視差幀所對應的碼率全部舍棄，并將前一時刻的對應視點的視頻幀和視差幀拷貝至當前時刻，并且重復拷貝動作，直至當前時刻的幀能正確解碼重建，或者當前時刻幀的權重大于前一時刻幀的權重；所述視點選擇與虛擬視點繪制模塊，用于根據解碼結果和用戶選擇的視點繪制虛擬視點。

本發明能夠根據虛擬視點圖像的視覺質量對QP進行調整，從而使得客戶端所得到的圖像質量具有較高水平。在本發明的優選實施例中，可根據視覺質量和網絡擁塞狀況同時對QP進行優化，從而能進一步保證客戶端得到的圖像的質量。

本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明

本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1為本發明實施例的由視點傳輸系統的框架圖；

圖2為本發明實施例一的自由視點視頻或多視點視頻傳輸方法流程圖；