[發明專利]會話視頻中單攝像頭眼神糾正方法

有效

• 申請號: 201510631610.6
• 申請日: 2015-09-29
• 公開（公告）號: CN105357513A
• 公開（公告）日: 2016-02-24
• 發明（設計）人: 陶曉明;盧繼川;葛寧;陸建華
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/04
• 分類號: H04N13/04;G06T15/00;G06T17/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 樓艮基

1.會話視頻中，單攝像頭眼神糾正方法，其特征在于，是一種適用于互聯網視頻通話或移動視頻通話且設備簡單的單攝像頭眼神糾正方法，是在計算機中依次按以下步驟實現的，

步驟(1)手動從網格模型上找到人臉定位特征點所對應的位置序號，作為圖像特征點在網格模型中對應的點的序號{(f₀,c₀),...,(f₆₈,c₆₈)}，其中，(f₀,...,f₆₈)和(c₀,...,c₆₈)分別表示跟蹤圖像特征點和網格模型上的點的序號68個特征點位置；

步驟(2)計算機初始化：

向計算機輸入并存儲用單攝像頭拍攝的視頻會話者的人臉視頻圖像序列，從中提取下述三幀人臉頭部視頻圖像，簡稱人臉視頻圖像：

第一幀是會話者的人臉圖像I₁，

第二幀是眼睛在某位置正視攝像頭拍出的圖像I₂，

第三幀是眼睛在相同位置看屏幕上某點時攝像頭拍攝的圖像I，即為需要糾正的圖像；

步驟(3)對所述圖像I₁依次進行如下處理：

步驟(3.1)利用AAM人臉定位得到圖像I₁的3D特征點，初始化網格模型和AAM模型；

AAM人臉定位方法：用AAM定位，從圖像中得到v_i、p_i、(xDirection,yDirection,zDirection)、scale，以及xT和yT，其中，v_i表示的68個3D特征點，p_i表示與v_i對應的2D特征點，i＝0,2,...,67,i<N，每個3D特征點v_i用坐標位置矢量(x_i,y_i,z_i)表示，(xDirection,yDirection,zDirection)表示人臉頭部姿態方向位置矢量，scale表示原始圖像I的大小與用AAM模型參數通過模型合成的AAM模型圖像大小的比值，xT和yT分別表示AAM模型在坐標系中移動到所述原始圖像I所需的x和y方向的位移；

采用AAM定位得到圖像I₁的68個3D特征點，68個3D特征點用表示，(i＝0,1,...,67)，對人臉跟蹤的AAM模型以及網格模型進行初始化，分別歸一化至坐標原點，并分別取網格模型頂點和AAM模型頂點的最左端和最右端的歐氏距離為s₁，s₂，scale1＝s₂/s₁，每個網格模型點的坐標均乘以scale1，使得網格模型的大小和位置與AAM模型的大小和位置保持一致；

步驟(3.2)將網格模型由Descartes坐標變換至Laplace相對坐標；

網格模型由一組3D點組成的，看成Nx3的矩陣，N代表網格頂點個數，3代表頂點的x、y和z的三個方向的坐標，若某一個頂點v_i，與其直接相連的頂點計為v_j，E表示網格模型邊的集合，N(i)表示與點v_i直接相連的頂點的個數，N(i)＝{j|(i,j)∈E}，將其由Descartes坐標變至Laplace相對坐標為：

這里頂點v_i，v_j分別包含x、y、z三個方向的坐標，即：

兩坐標變換以矩陣的形式表示為：

步驟(3.3)以跟蹤出的68個特征點作為初始條件，利用線性方程的最小二乘方法求解網格頂點，對網格模型進行變形；

由手動操作中的對應條件以跟蹤出的68個3D特征點為初始條件加入到上面的矩陣中：

其中(w₀,...,w₆₇)表示可以調整的權值，設左邊由A和(w₀,...,w₆₇)組成的矩陣用A^*，線性方程表示為A^*v＝b，由于存在過定問題，采用最小二乘的方法：

用最小二乘的方法求解，滿足其誤差平方最小，最終得出變形之后的新坐標為

其中，調整w_0:67的值，使得網格模型變形至較為理想的狀態，利用上述方法對網格模型x、y和z方向上的坐標由最小二乘完成模型變形，得到與會話者人臉相近的形狀，在網格變形中，由于人臉定位算法得到的3D特征點僅與臉部形狀有關，針對同一個人只要一次網格變形；

步驟(4)對圖像I進行AAM定位，得出圖像I的姿態角度(xDirection,yDirection,zDirection)，圖像I的大小和AAM模型大小的比值scale，以及AAM模型移動到所述圖像I所需的位移xT，yT，從而得到貼圖時所需的紋理映射點；

步驟(4.1)利用AAM人臉定位方法對圖像I進行人臉定位，得到的姿態角度(xDirection,yDirection,zDirection)，通過Euler()函數得到2x3的旋轉矩陣R；

步驟(4.2)將變形的網格模型進行尺度變換和旋轉得到2D的圖像紋理映射點坐標，然后將得到的紋理映射點進行位移xT，yT；

由上一步得到的網格模型頂點坐標為Nx3的矩陣旋轉和尺度變換后為Nx2的矩陣V₁，R.t表示矩陣R的轉置，V₁分別表示旋轉前后頂點矩陣，V′_1x、V_1x、V′_1y、V_1y分別表示平移前后各方向上的新舊坐標，則變換公式如下：

步驟(4.3)設任一序號i，將得到的紋理映射點(V′_1xi,V′_1yi)和網格模型點(x_i,y_i,z_i)進行一一對應，載入圖像I，完成網格模型的紋理貼圖；

步驟(5)用依次按以下步驟對步驟(4.3)得到的所述圖像I的模型圖像進行眼神糾正并形成校正后的網格模型圖像，網格模型圖像用I^*表示：

步驟(5.1)用AAM定位對正視圖像I₂進行跟蹤，得到圖像I₂的姿態角度矢量(xDirection2,yDirection2,zDirection2)；

步驟(5.2)使用Ogre工具中的pitch()，roll()，yaw()函數分別按步驟(5.1)得到姿態角度矢量進行x，y，z方向的旋轉，進行眼神糾正；

步驟(5.3)利用Ogre工具進行圖形渲染，然后從含有圖像I的網格模型中輸出校正后的網格模型圖像I^*，同時根據步驟(4.3)得到的紋理貼圖中映射點對應的邊緣上的序號從1---27的27個2D點的坐標作為初始邊緣；

步驟(6)計算出網格模型圖像I^*和圖像I的最佳匹配邊緣，并將圖像I^*邊緣及其內部嵌合至圖像I，完成眼神糾正，步驟(6)依次按以下步驟計算所述校正后的網格模型圖像I^*和所述需糾正圖像I之間的最佳邊緣，并把包括所述圖像I^*的最佳邊緣及其以內的部分貼合到所述圖像I上，得到包括所述原始圖像背景并且又經過眼神校正后的背景圖像，從而完成眼神糾正，

步驟(6.1)從所述校正后的網格模型圖像I^*初始邊緣中27個用平面坐標表示的特征點中取任何一點P₀，以它為中心點取5x5個像素點P作為邊緣處的候選邊緣點，P₀∈P；

步驟(6.2)在所述圖像I中與步驟(1)中所述的中心點P₀相同的位置，以其為中心取5x5個像素點作為候選邊緣點；

步驟(6.3)每次分別取所述兩幅圖像中邊緣點候選對象中的一個點，求出其像素值差的平方，所有像素值差的平方總和稱為能量值(Energy)，取能量值最小的點作為圖像I和圖像I^*的最終邊緣點，能量值公式為：

E(p)＝min∑||I(P₀)-I^*(P₀)||²P₀∈B(p)

E_total＝∑E(p_i)p_i∈S

其中，I^*(q_j)、I₂(q_j)分別表示圖像I和圖像I^*的像素強度，B(p)表示頂點p周圍的大小為5x5像素的矩形框；

步驟(6.4)按照上面步驟，分別對頂點編號1～27依次進行計算，最后得到27個點組成臉部輪廓最佳邊緣，最后將圖像I^*邊緣及其邊緣以內的部分嵌合至圖像I，這時的圖像I是經過眼神校正好的而且還包含有原始圖像I的背景的圖像，從而完成了眼神糾正。