[發(fā)明專利]人臉視頻壓縮方法

有效

• 申請?zhí)枺?/td>: 201410231902.6
• 申請日: 2014-05-28
• 公開（公告）號: CN104023216B
• 公開（公告）日: 2017-02-15
• 發(fā)明（設(shè)計）人: 陶曉明;李揚(yáng);陸建華;葛寧
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: H04N19/89
• 分類號: H04N19/89;H04N19/42;H04N21/2383;H04N21/438;G06K9/00
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司11203
• 代理人: 樓艮基

1.一種人臉視頻壓縮方法，其特征在于，是一種在移動視頻通話時對前后幀的人臉模型參數(shù)進(jìn)行時域冗余度壓縮的人臉模型的視頻編碼方法，是在移動視頻通話系統(tǒng)的發(fā)射端和接收端中依次按以下步驟實現(xiàn)的：

步驟(1)，系統(tǒng)初始化，

使用至少包括云存儲、介質(zhì)存儲、閑時傳輸在內(nèi)的任何一種方法在發(fā)射端和接收端各建立一個統(tǒng)一的人臉模型，步驟如下：

步驟(1.1)，采集D幀人臉圖像，構(gòu)建一個人臉圖像訓(xùn)練數(shù)據(jù)庫，包括：人臉訓(xùn)練圖像集和人臉訓(xùn)練數(shù)據(jù)集，前者存儲供訓(xùn)練用的D幀人臉圖像，后者存儲每幀人臉圖像的相關(guān)訓(xùn)練數(shù)據(jù)，所述人臉訓(xùn)練參數(shù)，也稱人臉模型參數(shù)，包括：

人臉形狀向量S_i，i為所述D張人臉圖像的序號，i＝{1，2，...，i，...，D}，D為有限正整數(shù)，還有人臉平均形狀向量

姿態(tài)參數(shù)向量(v_i，θ_i)，表示人臉在視頻幀中的位置和角度，是用普魯克分析方法Procrustes?Analysis對所述人臉形狀向量S_i和平均人臉形狀向量用平移和旋轉(zhuǎn)變換校正后得到的平移量V_i和旋轉(zhuǎn)角θ_i，

人臉形狀參數(shù)向量b_si，表示至少包括輪廓、五官的位置、大小、形狀和動作在內(nèi)的人臉特征，

人臉外觀向量g_i，是以所述人臉平均形狀向量為目標(biāo)，通過分片仿射拉伸Piecewise?Affine?Warping方法使所述人臉形狀向量S_i所定義的特征點與人臉平均形狀向量所定義的同一個特征點位置相吻合從而得到的一幅由人臉圖像中人臉部分的像素值所拉成的向量人臉平均外觀向量是對人臉訓(xùn)練數(shù)據(jù)集中所有人臉外觀向量進(jìn)行平均所得到的，

光照參數(shù)向量(μ_iσ_i)，與拍攝時的光照條件、亮度、對比度和光照角度有關(guān)：

μ_i＝mean(g_i)，σ_i＝var(g_i)，

是對所述人臉外觀向量g_i做像素強(qiáng)度歸一化后得到的光照歸一化外觀向量，

μ_i是歸一化過程得到的平均像素強(qiáng)度，mean為平均值，

σ_i是歸一化過程得到的像素強(qiáng)度標(biāo)準(zhǔn)差，var為標(biāo)準(zhǔn)差，

步驟(1.2)，按以下方法計算步驟(1.1)中所述的各人臉訓(xùn)練參數(shù)：

所述人臉形狀向量S_i，是對第i幀人臉圖像用Regularized?Landmark?Mean-Shift人臉定位算法所得到的s_i＝{(x_i1，y_i1)，...，(x_ij，y_ij)，...，(x_iF，y_iF)}，其中：

j為特征點序號，j＝{1，2，...，j，...，F(xiàn)}，F(xiàn)為特征點數(shù)目，

所述人臉平均形狀向量為：

s‾={(Σj=1Dxj1/D,Σj=1Dyj1/D),...,(Σj=1Dxji/D,Σj=1Dyji/D),...,(Σj=1DxjF/D,Σj=1DyjF/D)},]]>

所述形狀向量參數(shù)其中：

P_s是對所有的所述人臉形狀向量S_i，i＝{1，...，i，...，D}用主成分分析方法Principal?Component?Analysis得到的人臉形狀變化模式矩陣，為一個列正交矩陣，每一列表示人臉的一種整體運動模式，與反映人臉姿態(tài)及外觀變化的人臉特征的坐標(biāo)的整體運動模式，

發(fā)射端對任一幀i實時輸入的人臉圖像，按以下步驟計算最終需壓縮的人臉模型參數(shù)向量p_i：

p_i＝{(v_i，θ_i)，(μ_i，σ_i)，c_i}，

步驟(2)，發(fā)射端對于實時輸入的所述D幀人臉圖像中的任選幀i按下式計算最終需壓縮的某i個人臉模型參數(shù)向量p_i：

p_i＝{(v_i，θ_i)，(μ_i，σ_i)，c_i}，其中C_i為任選幀的聯(lián)合參數(shù)向量，其中：

bi=bsibgi;]]>b_si為第i幀人臉形狀參數(shù)向量，b_si＝P_s^Ts_i，

為第i幀人臉外觀參數(shù)向量，

b_i為第i幀人臉形狀與外觀聯(lián)合參數(shù)向量，

為D幀人臉圖像的平均人臉形狀與外觀聯(lián)合參數(shù)向量，

b‾=Σi=1Dbi/D,]]>

P_g為對所述人臉訓(xùn)練數(shù)據(jù)集中的所有人臉外觀向量g_i進(jìn)行主成分分析Principal?Component?Analysis而得到的人臉外觀變化模式矩陣，為一個列正交矩陣，每一列表示由人臉姿態(tài)、動作變化造成的人臉外觀像素值的一種整體變化模式，

Q是根據(jù)對所述人臉訓(xùn)練數(shù)據(jù)集中的人臉形狀參數(shù)向量b_si和人臉外觀參數(shù)向量計算得到的人臉形狀和外觀聯(lián)合參數(shù)向量b_i，i＝{1，...，i，...，D}進(jìn)行主成分分析Principal?Component?Analysis而形成的人臉形狀和外觀聯(lián)合參數(shù)變化矩陣，為一個列正交矩陣，每一列表示所述人臉形狀參數(shù)向量b_si和人臉外觀參數(shù)向量的一種聯(lián)合變化模式；

步驟(3)，對于步驟(2)得到的人臉模型參數(shù)向量p_i依次按以下步驟進(jìn)行最優(yōu)自適應(yīng)幀間壓縮，滿足給定的模型參數(shù)壓縮比目標(biāo)，并把壓縮后的人臉模型參數(shù)向量p′_i發(fā)送給接收端；

步驟(3.1)，設(shè)定：M為在設(shè)定時間段內(nèi)輸入并緩存的人臉模型參數(shù)向量p的緩存幀數(shù)，用p_i表示，i＝{1，...，i，...，M}為人臉模型參數(shù)向量p的序號，M在數(shù)值上等于人臉圖像幀數(shù)D，

N為欲保留的緩存幀數(shù)，M>N，

步驟(3.2)，對所述M個人臉模型參數(shù)向量p按以下步驟進(jìn)行最優(yōu)多邊形近似插值，以便得到N個樣本時全局的所有人臉模型參數(shù)v、θ、μ、σ、c的全局參數(shù)誤差最小，步驟如下：

步驟(3.2.1)，在所述M個緩存幀中，保留首、尾兩個緩存幀，則每兩個相鄰人臉模型參數(shù)向量間在線性插值后跳過的樣本個數(shù)為

步驟(3.2.2)，根據(jù)步驟步驟(3.2.1)得到的結(jié)果對經(jīng)過線性插值后得到的所有人臉模型參數(shù)向量p，對其中v、θ、μ、σ、c共五個人臉模型參數(shù)中的每一個，構(gòu)筑其與任意一個相鄰的人臉模型參數(shù)向量中同一類別的人臉模型參數(shù)之間通過同樣的線性插值方式得到的近似結(jié)果與原數(shù)據(jù)之間的誤差，用誤差的平方和表示為e_i，i′，組成誤差平方和矩陣E＝[e_i，i′]，1≤i≤M，1≤i′≤M，若：i′≥i，則e_i，i′＝0，

步驟(3.2.3)，定義方矩陣H＝[h_i，i′]，1≤i≤M，1≤i′≤M，h_i，i′表示把步驟(3.2.2)中第1個人臉模型參數(shù)到第i個人臉模型參數(shù)之間分成k段再進(jìn)行所述同樣的線性插值方式得到的最小的逐點誤差平方和，1≤i≤M，1≤i′≤M，i，i′為k段內(nèi)的任意二個人臉模型參數(shù)向量中同一類別人臉模型參數(shù)的對應(yīng)的參數(shù)點，且i′≥i時，h_i，i′＝∞，

步驟(3.2.4)，定義矩陣F＝[f_i′，i]，1≤i≤M，1≤i′≤M，i′<i，f_i′，i表示在步驟(3.2.3)中在把第1個到第i個人臉模型參數(shù)分成k段進(jìn)行線性插值得到最小的逐點誤差平方和時，第i個人臉模型參數(shù)之前的原始人臉模型參數(shù)序號，且i′≥i時，f_i′，i＝-1，

步驟(3.2.5)，依次按以下步驟計算任意一個人臉模型參數(shù)向量p_i中任意一個人臉模型參數(shù)在得到給定欲保留的緩存幀數(shù)N時的全局最小人臉模型參數(shù)誤差及其序號f_l，m，

設(shè)定：先后次序：段號m從1～m_max，l從1～l_max，段號l為不保留的M-N個緩存幀樣本的各段的序號，循環(huán)執(zhí)行以下操作：把M個人臉模型參數(shù)向量分為從第1個人臉模型參數(shù)向量開始的N-1段欲保留的緩存幀數(shù)和從第m_max+1個人臉模型參數(shù)向量開始的M-N段不保留的人臉模型參數(shù)向量兩大段，分別計算出對應(yīng)于每個人臉模型參數(shù)向量中各類人臉模型參數(shù)點的誤差平方和，再求出兩者之和的最小值a_l，m，即得到對應(yīng)于每個人臉模型參數(shù)的全局最小參數(shù)誤差a_l，m及其序號f_l，m；

al,m=minm≤i≤mmax(ei,i′+hi′′,i),]]>

下標(biāo)i，i′為N-1段內(nèi)的二個參數(shù)點，m＝{1，2，...，N-1}，i≠i′，

下標(biāo)i″，i為M-N段內(nèi)的二個參數(shù)點，l＝{m_max+1，...，M}，i≠i″，

fl,m=argminm≤i≤lmax(ei,i′+hi′′,i),]]>arg為對段中的點i取值，m_max＝N-1，l_max＝M-1，

全部所述各類人臉模型參數(shù)的全局最小誤差a_l，m的向量為A_L，M，

步驟(3.2.6)，根據(jù)步驟(3.2.5)的結(jié)果，構(gòu)造一個人臉模型參數(shù)誤差矩陣R，簡稱參數(shù)誤差矩陣，行數(shù)為所述人臉模型參數(shù)向量中人臉模型參數(shù)的個數(shù)，每一行對應(yīng)一個人臉模型參數(shù)，

步驟(3.2.7)，依次按以下步驟，按照任意可能的量化比特數(shù)與丟幀數(shù)的組合，計算在使用所選組合時該組合的模型參數(shù)在所述緩存幀中所造成的參數(shù)誤差的和：

步驟(3.2.7.1)，當(dāng)所述參數(shù)誤差矩陣R的每一行對應(yīng)一個精度為b比特的一個所述人臉模型參數(shù)向量p_i中的一個人臉模型參數(shù)時，把每一行分為17塊，每塊對應(yīng)一個量化比特數(shù)，共對應(yīng)0～16比特共17個量化比特數(shù)，

步驟(3.2.7.2)，在所述多邊形近似插值公式下，步驟(3.2.7.1)中每一個所述的塊對應(yīng)于各類人臉模型參數(shù)下的量化比特數(shù)和丟幀數(shù)，構(gòu)成所述參數(shù)誤差矩陣R的各個元素，

步驟(3.2.7.3)，遍歷所述參數(shù)誤差矩陣R中的各個元素，得到對應(yīng)的量化比特數(shù)和丟幀個數(shù)，計算對應(yīng)的經(jīng)過所述的多邊形近似插值方式得到的所述人臉模型參數(shù)與原始的所述人臉模型參數(shù)的誤差，用∈(p_i)表示，對于不同物理意義的所述人臉模型參數(shù)的所述誤差進(jìn)行下述人為對p_i進(jìn)行擾動Δp_i后再測量重建圖像的誤差，用∈(p_i+Δp_i)表示，得到所述人臉模型參數(shù)誤差矩陣R的近似重構(gòu)誤差矩陣∈所需要的加權(quán)參數(shù)其中：

∂∈∂pi≈Δ∈Δpi=∈(pi)-∈(pi+Δpi)Δpi,]]>

對所述人臉模型參數(shù)誤差矩陣R中的每一行使用上述加權(quán)即得到近似重構(gòu)誤差矩陣∈，

步驟(3.2.7.4)，根據(jù)步驟(3.2.7.3)得到的近似重構(gòu)誤差矩陣∈，就得到對應(yīng)的由量化比特數(shù)和丟幀個數(shù)相組合成的不同的組合方案，

步驟(3.2.8)，按以下步驟生成一個與所述近似重構(gòu)誤差矩陣∈大小相同的比特開銷矩陣W，記錄所有人臉模型參數(shù)的所有組合方案的比特開銷：

步驟(3.2.8.1)，設(shè)定：所述比特開銷矩陣W：行數(shù)為所述人臉模型參數(shù)的個數(shù)，列數(shù)等于欲保留的緩存幀數(shù)N，行序號為對應(yīng)的人臉模型參數(shù)的序號，列為所述量化比特數(shù)b的17個塊，矩陣元素代表第i個人臉模型參數(shù)采用量化比特數(shù)b和丟幀個數(shù)M-N的組合方案時的比特開銷，

步驟(3.2.8.2)，對于第i個人臉模型參數(shù)向量p_i，在整段傳輸過程中產(chǎn)生的總信令開銷：

第1個比特，表示所述人臉模型參數(shù)向量p_i是否需要傳輸；1表示需要傳輸，0表示不需要傳輸，

第2～10個比特表示每個需要傳輸?shù)娜四樐Ｐ蛥?shù)向量p_i的4個量化比特數(shù)和欲保留的所述人臉模型參數(shù)的5個人臉模型參數(shù)向量的樣本數(shù)，分別表示v、θ、μ、σ、c，

步驟(3.2.8.3)，第i個人臉模型參數(shù)向量p_i在整個傳輸過程中產(chǎn)生的總數(shù)據(jù)開銷：欲保留的人臉參數(shù)幀樣本個數(shù)N與對應(yīng)的人臉模型參數(shù)的量化比特數(shù)b的乘積，

步驟(3.2.8.4)，對所述比特開銷矩陣W中的所有矩陣元素，按步驟(3.2.8.1)－步驟(3.2.8.3)分別計算其對應(yīng)的總信令的和總數(shù)據(jù)的開銷，輸入到所述矩陣元素中，

步驟(3.2.9)，依次按以下步驟采用時間開銷較小的近似啟發(fā)式算法求出人臉模型參數(shù)向量最小化的總比特開銷作為總的實際比特開銷：

步驟(3.2.9.1)，對所述近似重構(gòu)誤差矩陣∈進(jìn)行分行排序：

步驟(3.2.9.1.1)，對每一行的各個所述近似重構(gòu)誤差從左到右依次遞減排序得到一個重排近似誤差矩陣簡稱矩陣并記錄排序前各所述近似重構(gòu)誤差所對應(yīng)的各元素的序號在排序后的對應(yīng)位置，所述元素是指所述人臉模型參數(shù)向量中的一個人臉模型參數(shù)的一個所述組合方案，再根據(jù)所述排序前后序號的對應(yīng)關(guān)系把所述比特開銷矩陣W的每一行重新排列構(gòu)成一個對應(yīng)于各所述人臉模型參數(shù)的元素值的重排比特開銷矩陣簡稱矩陣

步驟(3.2.9.2)，記錄所述矩陣中每一行元素從右到左的元素值的依次遞增的誤差增量，

步驟(3.2.9.3)，以所述矩陣中每一行元素最右端的元素最為起始元素，按照當(dāng)前的組合方案中選取的量化比特數(shù)與丟幀數(shù)計算出這種組合所需要的總比特開銷，

步驟(3.2.9.4)，若所述總比特開銷大于給定的上限值，則根據(jù)當(dāng)前選取的元素向左選取一個誤差增量最小的元素，

步驟(3.2.9.5)，若步驟(3.2.9.4)中所選定的元素仍然滿足不了總比特開銷小于給定上限的要求，則根據(jù)當(dāng)前選定的元素，對另一個更向左的元素重復(fù)步驟(3.2.9.4)，直到滿足要求為止；

步驟(3.2.9.6)，根據(jù)步驟(3.2.9.5)的結(jié)果，進(jìn)行所述人臉模型參數(shù)向量p_i的壓縮，把結(jié)果發(fā)送給接收端；

步驟(4)，接收端根據(jù)發(fā)送端提供的量化比特數(shù)和丟幀數(shù)的組合方案以及壓縮后的人臉模型參數(shù)向量p′_i中各類人臉模型的參數(shù)，采用同樣方式的線性插值方法進(jìn)行人臉模型參數(shù)向量p_i的恢復(fù)，

步驟(5)，依次按以下步驟進(jìn)行人臉視頻圖像重建：

步驟(5.1)，把所述的人臉形狀和外觀聯(lián)合變化模式矩陣Q分為行數(shù)等于所述形狀參數(shù)向量b_s元素個數(shù)的Q_s和行數(shù)等于所述外觀參數(shù)向量b_g的元素個數(shù)的Q_g，

步驟(5.2)，按下式計算人臉形狀向量s和人臉外觀向量g：

s=s‾+PsQsc,g=g‾+PgQgc,]]>

步驟(5.3)，按下式對人臉外觀向量g進(jìn)行光照反歸一化，恢復(fù)原圖光照，得到原圖光照的人臉外觀向量g：

g＝σg+μ，

步驟(5.4)，通過分片仿射拉伸的方法，將原圖光照的人臉外觀向量g從由人臉平均形狀向量所表示的特征點坐標(biāo)位置拉伸至由人臉形狀向量s所表示的特征點坐標(biāo)位置。