[發明專利]對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統

有效

• 申請號: 201210273907.6
• 申請日: 2012-08-03
• 公開（公告）號: CN102831401A
• 公開（公告）日: 2012-12-19
• 發明（設計）人: 樊曉東;唐文平;劉家賓
• 申請（專利權）人: 樊曉東
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T15/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的方法，其特征在于，該方法包括以下步驟：

從攝像機拍攝的圖像中分割出目標物體，并自動建立目標物體的特征模板或預知已知目標物體的特征模版；

利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的三維信息；

通過圖形引擎將虛擬物體或動畫實時疊加在現實的空間三維坐標系中，利用圖形引擎中的交互功能，實現三維疊加的虛擬物體和現實物體之間的交互。

2.如權利要求1所述的方法，其特征在于，所述利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的三維信息以及通過圖形引擎將虛擬物體或動畫實時疊加在現實空間三維坐標系的實現方法為：

對采集到的某一幀視頻圖像Q，利用surf算法求解出與模板匹配的所有特征點P＝{p₁，p₂，...，p_n}，其中，p_i為圖像Q中的特征點；

從全部匹配特征點P＝{p₁，p₂，...，p_n}中選擇4個最準確的匹配特征點j_k∈{1，2，...，n}，k＝1，2，3，4，記錄這些特征點的圖像坐標值(u_i，v_i)，i＝j₁，j₂，j₃，j₄，并以其中一點為世界坐標原點，記錄下其他特征點的世界坐標j_k∈{1，2，...，n}，k＝1，2，3，4；

利用世界坐標系的坐標與其投影點的像素坐標(u_i，v_i)之間的關系式計算相機的外參數矩陣H，其中，i＝j₁，j₂，j₃，j₄；

利用計算出的外參數矩陣H，在圖形引擎中將當前視頻幀圖像作為三維引擎中三維場景的背景，在場景中所需要的位置渲染出三維模型，實現實時三維疊加；

利用圖形引擎中的交互功能，實現三維疊加的虛擬物體和現實物體之間的交互。

3.如權利要求1所述的方法，其特征在于，該方法可對攝像機拍攝圖像中多個目標物體進行計算，得出每個物體的三維信息，對多個目標物體進行三維疊加。

4.如權利要求1所述的方法，其特征在于，目標物體相對于攝像機的三維信息為目標物體相對于攝像機的三維實時位移及旋轉角度。

5.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的系統，其特征在于，該系統包括：

特征模板建立模塊，用于從攝像機拍攝的圖像中分割出目標物體，并自動建立目標物體的特征模板，也可預置已知的特征模板；

三維信息計算模塊，與所述特征模板建立模塊相連接，用于利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的三維信息；

三維模型疊加模塊，與所述三維信息計算模塊相連接，用于通過圖形引擎將虛擬物體或動畫實時疊加在現實的空間三維坐標系中。

6.如權利要求5所述的系統，其特征在于，所述系統還包括：

交互模塊，與所述三維模型疊加模塊相連接，用于通過圖形引擎中的交互功能，實現三維疊加的虛擬物體和現實物體之間的交互。

7.如權利要求5所述的系統，其特征在于，所述三維信息計算模塊進一步包括：

三維實時位移計算單元，與所述特征模板建立模塊相連接，用于計算出目標物體相對于攝像機的三維實時位移；

三維實時旋轉角度計算單元，與所述特征模板建立模塊相連接，用于計算出目標物體相對于攝像機的三維實時旋轉角度。