[發明專利]基于特征建模的極低碼率下人臉視頻編解碼方法

有效

• 申請號: 201510043125.7
• 申請日: 2015-01-28
• 公開（公告）號: CN104618721B
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 楊明強;曾威;崔振興
• 申請（專利權）人: 山東大學
• 主分類號: H04N19/20
• 分類號: H04N19/20;H04N19/142;H04N7/14
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 趙妍

技術領域

本發明涉及計算機視覺和圖像處理技術領域，具體涉及一種基于特征建模的極低碼率下人臉視頻編解碼方法。

背景技術

隨著社會經濟的發展和人們日常生活水平的提高，使用手機、平板電腦等便攜式通訊工具來進行視頻聊天的方式正越來越被人們所青睞。然而，雖然無線互聯網蓬勃發展，用戶量與日俱增，但是由于目前的移動通訊網絡速度較慢，影響了視頻聊天業務的用戶體驗，也限制了用戶實時視頻聊天應用的發展。

現有的移動終端即時通訊軟件，一般都是將視頻數據壓縮同步處理，然后通過網絡傳輸后在另一客戶端播放視頻畫面。但由于傳輸的數據始終是視頻數據，數據傳輸流量較大，在移動通訊網絡這種低碼流網絡下，視頻易發生頓卡、跳幀，甚至無法實時顯示，或者犧牲視頻質量，造成視頻聊天時糟糕的用戶體驗。目前，提出的技術方案非常少，大都是從改進移動通訊網絡入手，升級3G、4G，但費用又相對昂貴，且不能從根本上解決低碼率下視頻聊天中出現的頓卡、無法實時顯示和視頻質量差等問題。

發明內容

為解決上述問題，本發明提供了一種基于特征建模的極低碼率下人臉視頻編解碼方法，該方法能在極低碼率的條件下，保證視頻聊天的流暢，提高視頻聊天業務的用戶體驗，同時為用戶實時視頻聊天應用提供新的應用前景。

為實現上述目的，本發明采用如下技術方案：

一種基于特征建模的極低碼率下人臉視頻編解碼方法，包括以下步驟：

步驟1：接收方接收發送方視頻聊天時傳輸來的第一幀全部視頻信息，并對第一幀視頻圖像進行顯著性區域檢測，確定人臉主體的位置；

步驟2：發送方對確定的人臉主體的位置進行人臉建模和提取特征點，確定眼睛和嘴巴的位置，并將特征點及眼睛和嘴巴的位置信息傳輸至接收方的客戶端；

步驟3：發送方利用第一幀已經提取出的特征點進行運動估計，對第二幀視頻圖像進行確定人臉主體的位置；

步驟4：利用第一幀已經提取出的特征點的運動估計進行人臉模型匹配，確定第二幀視頻圖像的特征點以及眼睛和嘴巴的位置，傳送特征點及眼睛和嘴巴的位置信息，與第一幀視頻信息進行匹配，合成第二幀視頻圖像；

步驟5：與第二幀視頻圖像合成方法類似，發送方傳送之后的每一幀視頻圖像特征點及眼睛和嘴巴的位置信息，與其前一幀視頻信息進行匹配，合成該幀視頻圖像，直至傳輸第i*n幀視頻圖像時，進入步驟6；其中，i＝1,2,3……，i為正整數；n≥3，n為正整數；

步驟6：當傳送第i*n幀視頻圖像時，傳輸該幀全部視頻信息，并對該幀視頻圖像進行顯著性區域檢測，確定人臉主體的位置和建立人臉模型，確定特征點以及眼睛和嘴巴的位置，并傳輸至接收方的客戶端；當接收方接收后，返回至步驟5。

所述步驟3中確定人臉主體的位置的過程為：

選取不易被表情所影響的特征點進行估計，并估計其平移分量及旋轉分量，得到頭部的剛體運動參數，確定人臉的位置。

所述步驟4的具體過程為：

步驟4.1：利用第一幀已經提取出的特征點的運動估計進行人臉模型匹配，確定第二幀視頻信息中的各特征點的坐標及幅值，確定眼睛和嘴巴的位置，對眼睛和嘴巴的區域進行DPCM差分編碼；

步驟4.2：接收方收到第二幀的特征點的編碼信息后，與第一幀視頻信息進行匹配，來確定第二幀視頻圖像中人臉區域的位置與姿態，以及更新第二幀視頻圖像中的人臉表情；

步驟4.3：修補和填充第二幀視頻圖像中的背景區域，合成第二幀視頻圖像；

所述步驟1中的顯著性區域檢測算法采用基于布爾圖的顯著性檢測模型，利用全局拓撲測度快速檢測出視頻聊天中最顯著區域為人臉部分。

所述步驟2中建立人臉模型的算法為主動外觀模型算法。

所述步驟4.2的具體過程為：

利用第二幀中的模型特征點及眼睛和嘴巴區域的信息，與第一幀中的特征點及眼睛和嘴巴區域進行匹配，計算得到映射矩陣，將第一幀圖像中的人臉區域映射到新一幀的圖像中；

利用接收到的眼睛和嘴巴的編碼信息解碼出第二幀圖像中的眼睛和嘴巴，并對第一幀圖像中人臉區域中的眼睛與嘴巴區域進行更新。

所述步驟4.2中第二幀信息與第一幀信息匹配的過程為：

利用漢明距離計算特征點數據間的相似性，以近鄰距離與次近鄰距離的比值T來確定可能正確的匹配，判定當T<0.8時，最近鄰距離對應的特征點為匹配點。

所述映射矩陣為：針對匹配特征點數據，使用隨機抽樣一致性算法計算得到映射矩陣，將第一幀圖像中的人臉區域映射到新一幀的圖像中。