[發明專利]對象擬合系統和方法

無效

• 申請號: 201010282950.X
• 申請日: 2010-09-14
• 公開（公告）號: CN102402786A
• 公開（公告）日: 2012-04-04
• 發明（設計）人: 黃向生;沈曉璐;馮雪濤;金培亭
• 申請（專利權）人: 三星電子株式會社;北京三星通信技術研究有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 郭鴻禧;王青芝

技術領域

本發明涉及一種對象擬合系統和方法，更具體地說，涉及一種基于多個二維三維復合模型對圖像中的對象進行擬合的系統和該系統所使用的方法。

背景技術

近年來，基于視覺的人機交互技術得到了迅速的發展。對于人類來說，視覺能傳遞最為豐富的信息。隨著視頻采集裝置(例如，照相機、攝像機、網絡攝像頭、手機攝像頭)的價格逐步降低以及普及程度的不斷擴大，基于視覺的人機交互技術的應用范圍和場合也越來越廣泛。因此，視覺成為人機交互方式中非常具有前景的手段。

對于二維圖像或二維視頻中的對象，計算機與其進行交互的先決條件是獲得該對象的位置、姿態、形狀等信息。現有技術已經提出多種基于二維模型的對象擬合技術。基于主動外觀模型(Active?Appearance?Model)算法的對象擬合方法是常用的一種。但是，該方法并沒有給出計算對象的三維信息的方式。因此，必須使用一種方法估計該對象上一系列關鍵點的三維位置。為適應實際應用需求，對于拍攝各個角度下或處于運動中的對象的圖像或視頻，此方法必須快速、準確地識別和計算出關鍵點的三維位置以進行對象擬合，并且該方法應該能適應不同光照與拍攝環境。

為了達到上述的要求，除了諸如攝像頭、相機的圖像輸入設備以及用于執行對象擬合的設備(例如，計算機)之外，現有技術需要額外的設備(結構光投影儀器、超聲測距儀等)，增加了成本和設備便攜性。現有技術通常對一個特定姿態范圍內的對象擬合的效果良好，而當旋轉角度增大，輸入的外觀變化較大時，對象擬合的效果明顯劣化。另外，由于對象擬合受到擬合模型的限制，因此必須從一個特定姿態開始執行擬合。如果在線進行對象擬合，例如，對在線視頻中的對象進行擬合，則一旦丟失目標對象，必須要求該目標對象回到特定姿態方能重新開始擬合。由于現有技術通常僅采用二維模型來進行對象擬合，因此無法同時提供對象的精確的二維位置與三維姿態，限制了獲取的信息量。另外，現有的對象擬合技術通常也僅使用單一模型，這樣的算法對某一固定角度的位置的對象效果最佳，但是隨著對象偏離該固定角度的位置的角度增大，擬合效果迅速劣化。

發明內容

本發明旨在克服上述的缺點。為解決現有技術問題，本發明使用二維三維復合模型來進行圖像或視頻中的對象擬合，其中，利用二維模型來定位對象的平面特征，利用三維模型給出對象的姿態信息并對結果進行校正，同時最小化二維代價函數與三維代價函數。

同時，本發明將現有的單一模型算法擴展為多模型算法，每一模型表達較小角度范圍內的物體特征，通過合理的角度估計與模型選擇策略，準確地捕捉物體各個角度的關鍵點。在初始擬合以及丟失目標對象后，通過輪流嘗試各模型對檢測出的物體進行擬合，大大提高了擬合成功率。

本發明提出的對象擬合方法能適應角度變化大、形變較豐富、運動較快的對象以及較為復雜的光照情況，能快速精確定位對象的關鍵點，進而給出對象的三維結構與位置姿態信息。

根據本發明的一方面，提供了一種基于二維三維復合模型的對象擬合系統，包括：模型存儲模塊，用于存儲訓練好的二維三維復合模型；擬合對象計算模塊，分析接收的圖像數據中的對象，根據對象的預定參數從模型存儲模塊讀取與對象相應的二維三維復合模型，對對象進行擬合以獲得二維三維復合模型的各個關鍵點在輸入的圖像中的二維模型參數和三維模型參數，其中，二維三維復合模型包括關于對象的二維模型和三維模型，三維模型表示三維對象上一系列預先定義的三維關鍵點的位置，其中，擬合對象計算模塊計算合適的對象的二維形狀參數、二維紋理參數以及三維參數，使得經二維變換后的圖像與圖像的二維紋理之間的差異加上對象的三維結構的投影與二維形狀的之間的差異所得之加權和最小。

根據本發明的一方面，擬合對象計算模塊選擇多個二維三維復合模型進行對象擬合，并根據預定參數是否達到門限值來確定是否在第一二維三維復合模型和第二二維三維復合模型之間進行切換。

根據本發明的一方面，用于確定從第一二維三維復合模型切換到第二二維三維復合模型的所述預定參數的門限值與用于從第二二維三維復合模型切換到第一二維三維復合模型的所述預定參數的門限值不同。

根據本發明的一方面，二維紋理參數包括對于光照不敏感的圖像特征參數。

根據本發明的另一方面，二維紋理參數是圖像的灰度。