[發(fā)明專利]低比特率視頻通話中基于模型和對(duì)象的頭肩圖像重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510405985.0
• 申請(qǐng)日: 2015-07-10
• 公開(kāi)（公告）號(hào): CN105046725B
• 公開(kāi)（公告）日: 2017-03-29
• 發(fā)明（設(shè)計(jì)）人: 陶曉明;盧繼川;李揚(yáng);葛寧;陸建華
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06T9/00
• 分類號(hào): G06T9/00;G06T11/00
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11203
• 代理人: 樓艮基

1.低比特率視頻通話中基于模型和對(duì)象的頭肩圖像重建方法，其特征在于，是在由通信各方的移動(dòng)設(shè)備借助基站構(gòu)成的、供低比特率視頻通話用的移動(dòng)視頻通信系統(tǒng)中依次按以下步驟實(shí)現(xiàn)的：

視頻圖像發(fā)送端，以下簡(jiǎn)稱發(fā)送端，依次執(zhí)行以下步驟：

步驟(1)，獲取發(fā)送方的第一幀人臉視頻，用RegularizedLandmarkMean-Shift，簡(jiǎn)稱RLMS的正則化的人臉關(guān)鍵坐標(biāo)點(diǎn)定位方法進(jìn)行人臉定位，得到估計(jì)的人臉關(guān)鍵坐標(biāo)點(diǎn)位置h_i＝(x_i，y_i)的最小邊緣，稱為臉矩形，x，y為人臉視頻圖像中關(guān)鍵坐標(biāo)點(diǎn)的位置，i為關(guān)鍵坐標(biāo)點(diǎn)的序號(hào)，總數(shù)共68個(gè)，h為坐標(biāo)點(diǎn)，

步驟(2)，根據(jù)步驟(1)得到的臉矩形估計(jì)涵蓋頭部的頭矩形和涵蓋肩部的肩矩形：

步驟(2.1)，估計(jì)頭矩形：

將所述臉矩形的上緣向上提高一個(gè)臉矩形的高度，并將所述臉矩形的左緣和右緣各向左、右擴(kuò)展一個(gè)所述臉矩形的寬度的一半，得到所述頭矩形，

步驟(2.2)，估計(jì)肩矩形：

以所述臉矩形的下緣為上緣，所述第一幀視頻圖像的下緣為下緣，并將所述頭矩形的左緣和右緣各自向左、右兩個(gè)方向擴(kuò)展所述臉矩形寬度的一半，得到肩矩形，

所述頭矩形和肩矩形視為頭肩可能存在的區(qū)域，

步驟(3)，利用基于L0梯度最小化的圖像平滑方法對(duì)所述第一幀視頻圖像，簡(jiǎn)稱圖像，進(jìn)行平滑濾波，

步驟(4)，以所述頭肩可能存在的區(qū)域?yàn)槌跏紖^(qū)域，用Grabcut圖像分割算法找到頭肩區(qū)域的邊界，同時(shí)，對(duì)所述圖像進(jìn)行JPEG2000壓縮，得到對(duì)象紋理；

步驟(5)，構(gòu)建步驟(4)得到的所述頭肩區(qū)域的三角形密集網(wǎng)格：

步驟(5.1)，以步驟(4)得到的所述頭肩區(qū)域中的每一個(gè)像素點(diǎn)作為一個(gè)三角形網(wǎng)格的頂點(diǎn)，使用Delaunay算法對(duì)所述頭肩區(qū)域進(jìn)行三角剖分，生成密集的三角網(wǎng)格，

步驟(5.2)，用一個(gè)矩陣T_N×3表示所述的三角形密集網(wǎng)格，簡(jiǎn)稱網(wǎng)格，其中：

N為頂點(diǎn)數(shù)，用頂點(diǎn)的坐標(biāo)位置向量m＝{(x₁，y₁)，...，(x_n，y_n)，...，(x_N，y_N)}表示，在數(shù)值上N等于所述矩陣T的行數(shù)，

每一行n的三個(gè)整數(shù){a，b，c}代表序號(hào)為a，b，c的三個(gè)頂點(diǎn)在所述網(wǎng)格中組成一個(gè)子三角形，n＝1，2，..，N，

步驟(6)，對(duì)所述網(wǎng)格進(jìn)行網(wǎng)格迭代簡(jiǎn)化，使最終的網(wǎng)格頂點(diǎn)數(shù)少于100個(gè)：

步驟(6.1)，將所述網(wǎng)格中所有頂點(diǎn)標(biāo)記為可以刪除的頂點(diǎn)，

步驟(6.2)，網(wǎng)格邊界上的頂點(diǎn)的簡(jiǎn)化：

步驟(6.2.1)，對(duì)于所述網(wǎng)格邊界上相鄰的任意三個(gè)點(diǎn)，按下式求得從中間一點(diǎn)(x_i，y_i)到其余兩點(diǎn)(x_i-1，y_i-1)和(x_i+1，y_i+1)連成的直線y＝kx+b的垂直距離d：

d=|yi-kxi-1-b|1+k2,k=yi+1-yi-1xi+1-xi-1,]]>b＝y(tǒng)_i+1-kx_i+1，

步驟(6.2.2)，判斷d是否≥1：

若：d≥1，且所述點(diǎn)(x_i，y_i)標(biāo)記為可以刪除的頂點(diǎn)，則從所述網(wǎng)格中把所述點(diǎn)(x_i，y_i)刪去，并將在所述網(wǎng)格中所有與所述點(diǎn)(x_i，y_i)相連的其它所述網(wǎng)格頂點(diǎn)標(biāo)記為不允許刪除的點(diǎn)，

若：d＜1，則保留，

步驟(6.2.3)，從網(wǎng)格邊界上任選一點(diǎn)作為所述中間點(diǎn)開(kāi)始，沿著所選網(wǎng)格邊界依次執(zhí)行步驟(6.2.1)～步驟(6.2.2)，一直到網(wǎng)格邊界上的每一點(diǎn)全部執(zhí)行完為止，得到頂點(diǎn)較少的初始網(wǎng)格，

步驟(6.3)，所述網(wǎng)格內(nèi)部的簡(jiǎn)化，是指簡(jiǎn)化不在網(wǎng)格邊界上的內(nèi)部網(wǎng)格頂點(diǎn)：

步驟(6.3.1)，按下式計(jì)算所有所述內(nèi)部網(wǎng)格頂點(diǎn)的顯著性值C_n′，表示為：

C_n′＝|I_x(p_n′)|²+|I_y(p_n′)|²+Γ(p_n′)，n′1，2，...，N′，N′＜N.其中：

p_n′＝(x_n′，y_n′)，p_n′是所述內(nèi)部網(wǎng)格頂點(diǎn)n的坐標(biāo)位置，

I_x(p_n′)、I_y(p_n′)為用“I”標(biāo)志的所述圖像在所述內(nèi)部網(wǎng)格頂點(diǎn)p_n′處的水平、垂直兩個(gè)方向的偏導(dǎo)，Γ(p_n′)是p_n′處已知的Harris角探測(cè)響應(yīng)，

步驟(6.3.2)，按步驟(6.3.1)得到的各所述內(nèi)部網(wǎng)格頂點(diǎn)的顯著性值C_n′由小到大的順序逐個(gè)檢查各所述內(nèi)部網(wǎng)格頂點(diǎn)：刪除所連接的其它所述內(nèi)部網(wǎng)格頂點(diǎn)數(shù)少于七個(gè)、而且所述顯著性值的排序達(dá)不到相應(yīng)設(shè)定的顯著性質(zhì)取值范圍的要求、且標(biāo)定為可以刪除的那些所述的內(nèi)部網(wǎng)格頂點(diǎn)，同時(shí)標(biāo)定：與所刪除的所述網(wǎng)格頂點(diǎn)相連的所述其它內(nèi)部網(wǎng)格頂點(diǎn)為不允許刪除點(diǎn)，

步驟(6.2.3)，計(jì)算經(jīng)過(guò)步驟(6.2.1)、步驟(6.2.2)簡(jiǎn)化后的網(wǎng)格頂點(diǎn)總數(shù)：

若：網(wǎng)格頂點(diǎn)總數(shù)大于100個(gè)，則，將當(dāng)前剩余的所有網(wǎng)格頂點(diǎn)標(biāo)為可以刪除的頂點(diǎn)，重復(fù)步驟(6.2.1)～(6.2.3)，一直到最終的網(wǎng)格頂點(diǎn)總數(shù)少于或等于100個(gè)為止，最終得到網(wǎng)格頂點(diǎn)總數(shù)較少的對(duì)象網(wǎng)格；

步驟(7)，依次按以下步驟計(jì)算基于低比特率編碼的人臉模型參數(shù)向量c和網(wǎng)格頂點(diǎn)運(yùn)動(dòng)向量Δm_f：

步驟(7.1)，利用步驟(1)得到的第一幀中的人臉視頻圖像內(nèi)68個(gè)所述關(guān)鍵坐標(biāo)點(diǎn)p_n(x_i，y_i)使用主動(dòng)外觀模型AAM方法估計(jì)出一組表征了目標(biāo)人臉的形狀、運(yùn)動(dòng)、外表特征的人臉模型參數(shù)向量c，

步驟(7.2)，對(duì)于非人臉部分而言，對(duì)步驟(6.2.3)所得到的所述對(duì)象網(wǎng)格，從第二幀開(kāi)始，把跟蹤得到的網(wǎng)格頂點(diǎn)的位置坐標(biāo)與上一幀中同一個(gè)所述網(wǎng)格頂點(diǎn)的位置坐標(biāo)相減，得到每一個(gè)所述網(wǎng)格頂點(diǎn)的運(yùn)動(dòng)向量，用Δm_f＝m_f-m_f-1表示，m_f是第f幀的網(wǎng)格頂點(diǎn)的位置向量，f＝1，2，...，f，...，F(xiàn)，F(xiàn)為總幀數(shù)，經(jīng)過(guò)熵編碼后，實(shí)現(xiàn)數(shù)據(jù)壓縮；

步驟(8)，步驟(7)得到的目標(biāo)人臉模型參數(shù)向量c、對(duì)象網(wǎng)格頂點(diǎn)運(yùn)動(dòng)向量Δm_f、和對(duì)象網(wǎng)格和對(duì)象紋理之間進(jìn)行比特分配后再經(jīng)信道傳輸?shù)浇邮斩耍?/p>

步驟(8.1)，設(shè)定：所述整個(gè)頭肩視頻編碼用的總比特?cái)?shù)為u，其中：

對(duì)象網(wǎng)格比特?cái)?shù)為u_m＝3000比特，

網(wǎng)格頂點(diǎn)運(yùn)動(dòng)向量比特?cái)?shù)為u_v，在設(shè)定運(yùn)動(dòng)向量的量化水平后是已知的，

對(duì)象紋理比特?cái)?shù)u_t和主動(dòng)外觀模型AAM的參數(shù)比特?cái)?shù)u_p，均為未知值，

解下列二元一次聯(lián)合方程，得出u_t和u_p的值：

ut=γ(s(up)A)u=um+ut+uv+up,]]>其中：

A為所述人臉主動(dòng)外觀模型AAM參數(shù)和網(wǎng)格頂點(diǎn)運(yùn)動(dòng)向量經(jīng)比特分配后形成的序列持續(xù)的時(shí)間，單位為秒，是已知值，

γ為調(diào)整系數(shù)，代表人臉部分和非人臉部分之間的相對(duì)重要度，0＜γ＜1；

接收端依次按以下步驟進(jìn)行圖像重建：

步驟(I)，通信各方在通話前預(yù)置：根據(jù)本方訓(xùn)練視頻圖像按步驟(1)～步驟(7)得到的人臉模型參數(shù)向量c和網(wǎng)格頂點(diǎn)的位置參數(shù)向量m_f，

步驟(II)，接收端從信道接收到所述視頻通話時(shí)的各幀人臉模型參數(shù)向量c后，使用所述的主動(dòng)外觀模型AAM方法重建人臉圖像

步驟(III)，接收端收到通話視頻的對(duì)象網(wǎng)格后，用分片仿射拉伸方法把得到的經(jīng)過(guò)JPEG2000壓縮的對(duì)象紋理g從所述網(wǎng)格頂點(diǎn)的位置參數(shù)向量m_f拉伸至當(dāng)前幀的網(wǎng)格形狀向量m_f+Δm_f，Δm_f＝m_f-m_f-1，形成重建的網(wǎng)格圖形，經(jīng)插值后得到重建的對(duì)象網(wǎng)格

I^=Warp(g:mf,mf+Δmf),]]>

步驟(IV)，根據(jù)重建后的對(duì)象網(wǎng)格和經(jīng)JPEG2000壓縮的對(duì)象紋理形成重建后的各幀圖像。