[發明專利]具有透視失真校正的臉部姿勢改進

有效

• 申請號: 201010546344.4
• 申請日: 2010-09-25
• 公開（公告）號: CN102104767A
• 公開（公告）日: 2011-06-22
• 發明（設計）人: 吳錫榮;鄭裕倉;史小瑾;詹姆斯·諾邁爾
• 申請（專利權）人: 蘋果公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N7/14;G06T3/00
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 李曉冬

技術領域

本申請涉及對圖像捕獲設備相對于對象的定位和方向進行改進，以及對所捕獲圖像的失真進行校正，所述設備例如移動處理裝置中所包括的攝像機。

背景技術

視頻會議(或者視頻電話會議)系統的發展允許用戶在兩個或者多個分離的地點進行面對面的討論。通過將參與者的視頻圖像包含進來，視頻會議可以顯著提高會議交流的效率。例如，也能夠交換非口頭信息并呈現實體物品。從而，視頻會議系統已被用于很多目的，包括遠程學習、遠程醫療和遠程協作。

早期的視頻會議系統需要專門的通信電路，以使實時傳輸視頻數據以能提供可接受的圖像質量的足夠傳輸速率傳輸。進一步，專用編碼/解碼器(CODEC)系統被用來執行音頻和視頻的處理，并且經常包括多個監視器以支持多點會議。因此，早期的視頻會議系統需要專門的系統實現并且只能在固定地點舉行。最近，網絡通信的改進使得能夠發展使用通用計算平臺的視頻會議系統。也開發了改進的視頻壓縮算法以降低視頻會議應用所需要的帶寬。

很多因素都能影響視頻會議系統感覺的質量。例如，如果幀速度過低，則接收裝置處的視頻呈現會含有頻閃(strobe)效果。進一步，在攝像機相對于對象(subject)的一些方向上，接收到的圖像會含有明顯的失真。捕獲圖像的角度和呈現圖像的角度中的一者或者兩者可以影響透視失真的水平。透視失真可以由于圖像是以正常范圍以外的焦距捕獲而產生，并且在所捕獲的圖像中被感受為一個或多個對象可見的變形。由于透視失真，對象或者其一部分相對于其他的對象或對象部分可能顯得比正常情況更大。隨著觀察角度的增大以及攝像機與對象之間距離的減小，透視失真可能變得更加顯著。

發明內容

攝像機(例如與視頻會議應用相關聯的攝像機)所捕獲的圖像中的失真可以至少被部分地被校正。例如，可以用變形算法來校正或者補償捕獲過程中引入圖像的至少一部分失真，該失真例如是由攝像機與對象之間的接近度和/或由目標相對于攝像機的角度所引起的。通過對受到失真影響的圖像應用變形技術，圖像可以被改變為提供這樣的外觀：即，攝像機的方向被定位成與對象更加直接地對準。

本發明人意識到需要根據圖像捕獲裝置的實際方向或者估計方向來應用變形技術，以校正被捕獲的圖像中的失真。本發明人還意識到，需要基于一個或多個傳感器(例如加速計和陀螺儀中的一個或者兩個)的輸出來確定圖像捕獲裝置的方向。進一步，還意識到需要向用戶提供反饋，該反饋表明正在被捕獲的圖像以及正在向被捕獲的圖像所應用的校正。

進一步，本發明人意識到需要基于臉部模型執行失真校正，例如二維(2-D)或者三維(3-D)模型。失真校正所基于的模型臉部還可以是對象的代表，或者可以是與其他個體相對應的臉部。還意識到需要根據面部檢測信息(包括由用戶提供的面部位置信息)來執行失真校正。例如，用戶可以通過各種輸入接口(包括觸摸屏接口)提供面部的位置信息(如面部的中間點)。本發明人還意識到需要向整個被捕獲的圖像或者僅僅對于面部區域應用變形技術。例如，變形技術可以以圖像中包括的面部區域為中心，或者僅僅應用到面部區域。

另外，本發明人意識到需要基于預定的圖像(例如在視頻會議之前獲取的原始圖像，或者代表了用戶想要的外觀的理想圖像)來對失真校正進行校準。還意識到需要提供至少最低水平的校正來消除失真程度并增強被捕獲的圖像的外觀。最低水平的校正可以基于預先確定的最小傾斜程度。還意識到了需要記錄位置歷史并根據位置歷史來執行失真校正。因而，此處描述的技術和儀器實現的算法用于校正與被捕獲的圖像相關聯的失真(例如透視失真)的至少一部分，所述圖像包括與視頻會議系統或應用相結合使用的圖像。

大體上，在一個方面，可以實現這些技術，包括：接收被捕獲的圖像，確定用于產生被捕獲的圖像的攝像機的方向，基于所確定的攝像機的方向來計算變形參數，并基于所計算的變形參數而對被捕獲的圖像應用一個或多個變形技術以產生經過失真校正的圖像。

也可以實現這些技術，使得對方向的確定進一步包括根據默認方向值來確定的攝像機的方向。另外，也可以實現這些技術，使得對方向的確定進一步包括基于傳感器數據來確定攝像機的方向。還可以實現這些技術，包括接收輸入，該輸入標識了被捕獲的圖像中的臉部位置。另外，可以實現這些技術，包括根據所標識的臉部位置來對被捕獲的圖像應用一個或多個變形技術。進一步，可以實現這些技術，使得對標識了臉部位置的輸入進行的接收還包括從用戶接收限定了與臉部位置相對應的邊界的輸入。