[發明專利]低比特率視頻通話中基于模型和對象的頭肩圖像重建方法

有效

• 申請號: 201510405985.0
• 申請日: 2015-07-10
• 公開（公告）號: CN105046725B
• 公開（公告）日: 2017-03-29
• 發明（設計）人: 陶曉明;盧繼川;李揚;葛寧;陸建華
• 申請（專利權）人: 清華大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06T11/00
• 代理公司: 北京思海天達知識產權代理有限公司11203
• 代理人: 樓艮基

技術領域

本發明涉及視頻傳輸領域，特別是在低比特率情況下的一種多媒體通信時人臉視頻的頭肩部分的圖像重建方法。結合基于對象編碼和基于模型編碼二者的優點，提出的一種同時基于對象和模型的低比特率混合編碼方法(Model-and-ObjectbasedCoding，MOBC)，它實現了頭肩視頻在低比特率中的傳輸，重建視頻圖像后仍有很好的體驗效果，從而提高了通信資源的利用率。

背景技術

近年來無線網絡中的基于多媒體業務的數據流急速上升，諸如視頻通話、視頻會議等多媒體通信應用出現在大量的移動設備中。但是，傳統的基于塊的混合視頻編碼技術為了要達到較為滿意的通話質量需要比較高的比特率，壓縮效率較低，這使無線網絡很難承載迅速增長的大量視頻數據。由于無線鏈路的帶寬資源成本非常高，因此，需要在保證較好的用戶體驗質量(Quality-of-Experience，QoE)同時，找到一種更有效的編碼方法來減少移動視頻傳輸所需要的帶寬。

目前已經有大量這方面的研究工作。為了克服傳統的基于分塊的編碼方法的缺點，研究人員提出了基于興趣區域的編碼方法。基于興趣區域的編碼方式假設，為了提高用戶體驗，對用戶感興趣的視頻區域的質量相對于視頻其他區域的質量更加重要。對典型的多媒體通信視頻電話和視頻會議而言，說話者的頭部和上身通常是觀察者最感興趣的。目前已有一種模型輔助方法，即先檢測通信者的頭肩部分，然后編解碼調整比特分配方案，將更多的比特分配到頭肩部分，從而在沒有需要更多帶寬的情況下提高了興趣區域的視頻質量。這些方法提供的視頻壓縮比率有限，特別的，對于可視電話應用，當臉部靠近相機時，人臉視頻占據視頻圖像中的絕大部分，該方法不能對人臉視頻有較好的壓縮效果。

不同于基于分塊的混合編碼，基于對象的編碼(Object-basedCoding，OBC)和基于模型的編碼(Model-basedCoding，MBC)技術能夠利用所描述對象幾何結構的先驗知識，從而實現視頻中的低比特率傳輸。這兩種方法利用視頻中外觀和形狀的連續性，跟蹤外觀邊緣和內部的關鍵點，并對其進行編碼；即使在建模過程中跟蹤失敗，進行自適應紋理更新的同時，被跟蹤的形狀也用于運動補償(MotionCompensation，MC)。MBC在目標特征上更進一步，它需要一個目標對象優先的分析合成模型，用較少的模型參數表示這個模型對象的形狀(和可能的外觀)，不需要傳輸全部的運動矢量。MBC雖然提供了一個更高的壓縮比，但它的目標特征更有針對性，限制了它的適用范圍。

在視頻電話和視頻會議應用里，臉部都是觀察者關注的中心，臉部表情也最豐富。OBC和MBC都已經應用到這些場景并取得一定的成功。基于網格的OBC和MBC用來編碼QCIF(176x144)，以12-16Kbps的速度，可以每秒傳10幀的頭肩圖像。使用可變形的人臉模型和可降維子空間的方法，MBC也已經在面部的圖像/視頻壓縮中被提出。MBC和OBC壓縮效率較高但只能用于頭部模型編碼。目前，還有一些結合2D網格模型和3D模型的方法已被提出，其中臉部區域用3D模型編碼，剩下的頭肩的區域采用一個可變形的2D網格進行編碼。3D人臉模型提高人臉區域的重建質量，但與二維網格兼容困難，同時模型也需要定義和初始化。另外，如果沒有不斷地更新紋理，一個粗糙的網格不能提供一個令人滿意的紋理重建，會導致系統需要一個更高的比特率來傳輸圖像。

為了克服OBC和MBC編碼方法的局限性，實現低的比特速率傳輸較高質量的視頻，我們提出了一種針對頭肩的部分的基于對象和模型的低比特率混合編碼方法(Model-and-ObjectbasedCoding，MOBC)。這種方法對人臉區域進行2D可變形模型自動訓練，然后編碼；對觀察者不感興趣的頭肩區域，我們采用一個自動初始化的2D網格編碼，這樣2D人臉模型就可以無縫地嵌入網格形成整幅圖像。這種方法更加實用，它可以在提高編碼效率的同時，有較好的QoE。

發明內容：

針對現有技術的缺陷，本發明的目的在于提供一種在低比特率情況下的頭肩視頻編碼傳輸。該系統主要進行頭部人臉模型參數和網格頂點運動向量的參數傳輸，相對于傳輸整個頭肩視頻的數據，大大減少了傳輸中所需的數據量，從而實現了在低比特率情況下的視頻傳輸，大大地增加了視頻通話、視頻會議的在無線多媒體通信中的應用范圍，使得視頻通話和視頻會議可以更加普遍地應用到實際生活中。