[發明專利]基于Kinect的人臉視頻目光修正方法及系統

有效

• 申請號: 201510386743.1
• 申請日: 2015-06-30
• 公開（公告）號: CN104992417B
• 公開（公告）日: 2017-12-19
• 發明（設計）人: 盛斌;張雨;申瑞民
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 上海交達專利事務所31201
• 代理人: 王毓理,王錫麟

1.一種基于Kinect的人臉視頻目光修正方法，其特征在于，首先通過Kinect識別出視頻流中的人臉部分，根據當前人臉的不同狀態，通過橢圓擬合方法捕捉得到臉部輪廓，然后對人臉位姿進行調整，再對人臉細節進行微調處理，最后將調整后的人臉與背景融合；所述的微調處理包括：眼鏡圖像重建處理、前景過濾處理、旋轉處理以及孔填充處理。

2.根據權利要求1所述的方法，其特征是，所述的視頻流來自于Kinect在線視頻，或者Kinect視頻文件。

3.根據權利要求1所述的方法，其特征是，所述的當前人臉的不同狀態是指除去用戶的正常姿勢，在用戶向上或者向下看時也能夠識別用戶的整個臉部輪廓。

4.根據權利要求1所述的方法，其特征是，所述的橢圓擬合方法是指：根據臉部特征點估計自然空間橢圓的中心、長短軸，并將其映射回圖片空間。

5.根據權利要求1所述的方法，其特征是，所述的微調處理具體包括：

4.1)初始化輪廓接縫，具體包括：

4.1.1)在第一幀在系統復位后，沿著橢圓生成縫點；

4.1.2)如果不是第一次復位后，使用橢圓來轉移前一幀的接縫為當前的初始，這樣可以穩定接縫；

4.1.3)縫點的形式是相對橢圓的長度和相對橢圓的方向的，形成一個新的橢圓，新的相應的縫形成的；

4.1.4)這種方法確保縫點總是生成均勻；它適用于所有類型的變化：改變大小，旋轉；

4.2)接縫最佳化，具體包括：

4.2.1)底部一半縫點，直接用下巴點的新面孔，因此，新下巴將覆蓋原來的，完全或大部分，隨后的混合使其平滑；

4.2.2)上半部分使用傳統的一個最優的優化算法，在每次迭代中，首先優化所有奇數點，然后優化偶數點，避免相互影響在一個迭代；

4.2.3)對于每一個點，不同橢圓中心的相對長度，并找到最優，錯誤定義的總誤差，即色差，沿著兩個相鄰邊緣的寬度寬，總誤差沿縫是混合的總誤差；

4.3)眼鏡重建處理，具體包括：

4.3.1)臉上給定區域的某個點滿足：

(Point-FaceCenter)＝FaceNormal＝PlaneDistance

其中：FaceCenter是臉部中心，FaceNormal是臉上的任一點，PlaneDistance為平面距；

4.3.2)點計算的形式為：

其中：depth、focus分別為該點的深度和專注度，imx、imy為相對平面的直角坐標值；

4.3.3)轉換自然空間點的坐標與圖像空間的坐標，最后得到眼鏡深度以重建眼鏡：

4.4)針對旋轉問題采用以下方式矯正角度：其中：θ為平面的臉部平面與x-y平面的角，θ₀是用戶最近一次按下一鍵矯正鍵時臉部平面與x-y平面間的矯正角度，ω是要得到的矯正角度。

6.一種實現上述任一權利要求所述方法的系統，其特征在于，包括：KINECT模塊、橢圓擬合模塊、人臉位姿調整模塊以及臉部背景融合模塊，其中：KINECT模塊與PC相連并提供圖片來源，再經橢圓擬合模塊、人臉位姿調整模塊、臉部背景融合模塊矯正輸入在線視頻或離線視頻中人物的目光，得到目光矯正的輸出流。