[發(fā)明專利]低分辨率面部視頻的處理方法

有效

• 申請?zhí)枺?/td>: 201310698413.7
• 申請日: 2013-12-18
• 公開（公告）號: CN103646237B
• 公開（公告）日: 2017-01-11
• 發(fā)明（設(shè)計）人: 戴瓊海;李凱
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11201
• 代理人: 張大威

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別涉及一種低分辨率面部視頻的處理方法。

背景技術(shù)

由于視頻會議受到采集設(shè)備和網(wǎng)絡(luò)帶寬的限制，使得待傳輸?shù)拿娌恳曨l質(zhì)量較低，無法清晰地呈現(xiàn)人物表情的細節(jié)。進而會降低參會者對視頻本身的注意力。

視頻增強主要是對視頻進行去噪、去除霧、增加分辨率、視頻穩(wěn)定等方面。現(xiàn)有技術(shù)中視頻增強的方法主要是對采集視頻進行有線性變換、非線性變換和圖像銳化等處理。但是現(xiàn)有的方法處理效果差，且處理后的細節(jié)不夠清晰無法滿足用戶的需求。

發(fā)明內(nèi)容

本發(fā)明的目的旨在至少解決上述的技術(shù)缺陷之一。

為此，本發(fā)明提供一種低分辨率面部視頻的處理方法，該處理方法可以解決視頻會議中視頻質(zhì)量差且細節(jié)不夠豐富的問題。

有鑒于此，本發(fā)明的實施例提出一種低分辨率面部視頻的處理方法，包括以下步驟：獲取步驟，獲取目標(biāo)人物的中性臉的高分辨率圖像Dn；采集步驟，采集所述目標(biāo)人物的低分辨率視頻幀序列L；對齊步驟，對所述高分辨率圖像Dn和所述低分辨率視頻幀序列L中包含的中性臉圖像的中性臉幀Ln進行特征點解析，根據(jù)所獲得的多個特征點得到所述低分辨率視頻幀序列L的中性臉幀Ln和所述高分辨率圖像Dn的對齊函數(shù)；以及映射步驟，通過所述對齊函數(shù)將低分辨率視頻幀序列的面部變化映射到所述高分辨率臉部圖像中，以得到高分辨率的映射視頻幀序列M。

根據(jù)本發(fā)明實施例的方法，通過獲得低分辨率視頻幀序列和高分辨率圖像Dn的對齊函數(shù)，以根據(jù)該對齊函數(shù)得到高分辨率的映射視頻幀序列，提高了視頻的清晰度豐富了細節(jié)，同時在額外增加傳輸帶寬。

在本發(fā)明的一個實施例中，還包括：數(shù)據(jù)庫獲取步驟，獲取所述目標(biāo)人物的高分辨率臉部圖像數(shù)據(jù)庫D，所述數(shù)據(jù)庫D中包含有所述中性臉的高分辨率圖像Dn；匹配視頻幀序列獲取步驟，從所述數(shù)據(jù)庫D中搜索與所述低分辨率視頻幀序列L的每一幀相對應(yīng)的圖像，構(gòu)建匹配視頻幀序列R；以及修正步驟，根據(jù)所述匹配視頻幀序列R修正所述映射視頻幀序列M。

在本發(fā)明的一個實施例中，所述對齊步驟具體為：根據(jù)所獲得的多個特征點對所述高分辨率圖像Dn進行三角剖分，并根據(jù)該剖分的結(jié)果對所述低分辨率視頻幀序列L中包含的中性臉幀Ln進行三角剖分，建立所述低分辨率視頻幀序列L的中性臉幀Ln和所述高分辨率圖像Dn的對齊函數(shù)。

在本發(fā)明的一個實施例中，所述映射步驟具體包括：計算所述低分辨率視頻幀序列L的各個幀到所述中性臉幀Ln的光流變化；根據(jù)所計算出的光流變化，計算所述低分辨率視頻幀序列L各個幀的像素顏色變化；以及根據(jù)所述對齊函數(shù)獲得所述低分辨率視頻幀序列L的各個幀與所述高分辨率圖像Dn的像素對應(yīng)關(guān)系，根據(jù)該對應(yīng)關(guān)系將所求出的像素顏色變化映射到所述高分辨率圖像Dn中，以得到高分辨率的映射視頻幀序列M。

在本發(fā)明的一個實施例中，所述映射步驟中，對所計算出的顏色變化進行時域和空域的平滑化處理后用于映射。

在本發(fā)明的一個實施例中，所述修正步驟具體包括：計算所述映射視頻幀序列M的各個幀到所述匹配視頻幀序列R的各個幀的光流變化；將所述匹配視頻幀序列R的各個幀逆著所計算出的光流變化進行變形，將所得到的變形后圖像作為修正結(jié)果。

在本發(fā)明的一個實施例中，所述匹配視頻幀序列獲取步驟中，根據(jù)局部二值模式和光流特征從所述數(shù)據(jù)庫D中搜索與所述低分辨率視頻幀序列L的每一幀相對應(yīng)的圖像，構(gòu)建匹配視頻幀序列R。

在本發(fā)明的一個實施例中，所述多個特征點包括：面部語義特征點和面部輪廓特征點。

在本發(fā)明的一個實施例中，所述低分辨率視頻幀序列L各個幀的像素顏色變化通過如下公式計算，所述公式為，