[發明專利]利用運動趨勢跟蹤增強現實三維多標記的方法和裝置

在審

• 申請號: 201110426130.8
• 申請日: 2011-12-09
• 公開（公告）號: CN103164690A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 江國昌;葉思義
• 申請（專利權）人: 金耀有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T13/20
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 李曉冬

技術領域

本發明一般地涉及圖像識別領域，更具體地，本發明涉及利用運動趨勢跟蹤增強現實(Augmented?Reality，簡稱AR)三維多標記的方法和裝置。

背景技術

增強現實，是一種實時地計算攝影機圖像的位置及角度并加上相應圖像的技術，這種技術的目標是在屏幕上把虛擬世界套在現實世界并進行互動。隨著隨身電子產品運算能力的提升，預期增強現實的用途將會越來越廣。北卡羅來納大學的Ronald?Azuma于1997年提出增強現實包括三個方面的內容：將虛擬物與現實結合、即時互動和三維(3D)。

目前增強現實主要有如下幾種實現方式：(1)通過全球定位系統(GPS)、地磁傳感器和加速度傳感器來確定用戶終端的地理位置、朝向以及傾斜角度等，然后根據所確定的位置信息來獲取相關信息后疊加顯示，采用這種實現方式的比如有PlaceEngine技術、SekaiCamera技術等；(2)預先保存標記(marker)圖像的信息，然后通過圖像識別技術，在當前圖像中查找并識別標記圖像，然后在標記圖像上疊加相關信息，采用這種實現方式的比如有ARToolKit程序庫；以及(3)對攝影圖像進行解析，識別出風景、物體和空間，然后疊加相關信息，采用這種實現方式的比如有由英國牛津大學的Georg?Klein和David?Murray提出的并行跟蹤和映射(Parallel?Tracking?and?Mapping，簡稱PTAM)開發庫。

在所提及的實現方式之中，通過對標記進行識別來實現信息疊加的技術被越來越廣泛地使用。這種實現方式能夠通過使用攝影機對真實圖像中的標記進行識別來加入虛擬的3D物件，從而造成虛實結合的視覺效果。然而，當需要同時識別多個標記時，識別算法需要針對每個標記的特征點(feature?point)來進行判斷。除了AR?Toolkit外，目前常用的識別方法還有Institute?Graphische?Datenverarbeitung、SCR(Semans?AG)、Hoffman?Marker?System(HMS)等。

對于由攝影機鏡頭拍攝到的圖像，我們必須設法識別出其中的特殊標記，并用此標記的方向，來插入程序產生的3D虛擬物件。

在需要識別多個運動標記的應用中，識別的效率成為重要的考慮。如果識別的效率太低，則會造成3D虛擬物件在運動過程中的不順暢。

目前識別攝影機圖像中的標記，主要使用判斷特征值計算所謂置信度(confidence?level)的方法，當置信度超過一定數值，就視為偵測到標記。然而，特征值的判斷必須針對個別的標記來判斷。當標記數量變多時，判斷的時間也因此增加。

傳統AR?3D針對當前捕捉到的攝影機圖像，進行多個3D標記的識別。目前的識別方法大多針對單一的標記進行識別，或是在有限數量(比如2-3個)的標記中進行識別。這在需要同時識別多個標記時，會造成大量的圖像處理計算，因而無法在手持設備等計算效率有限的移動平臺上達到實時計算與識別的要求。

發明內容

考慮到上述問題，本發明提出一種利用運動趨勢跟蹤增強現實三維多標記的方法和裝置來提高AR?3D識別多個標記的效率。本發明使用連續圖像之間3D物件運動的連續性，來加速對圖像中多個3D標記的識別和跟蹤。

根據本發明的一方面，一種標記識別方法包括以下步驟：接收一幀攝影機圖像；根據所述圖像中的一個標記在在前幀中的位置識別結果，產生所述一個標記的運動趨勢；根據所述運動趨勢，動態確定對該幀攝影機圖像中的各個區域進行識別的順序；以及按所述順序對該幀攝影機圖像中的各個區域進行識別，并且當在該幀攝影機圖像的一個區域中識別出所述一個標記時，在所識別出的位置處插入三維虛擬物件。

該方法考慮到物件運動的連續性，縮小了針對個別標記在攝影機傳入的連續圖像上的識別掃描區域，因此能夠在3D標記數目增加時，降低識別各個標記的計算復雜度。該方法在要識別的標記數量增加時，能夠在小于與標記數量成正比的時間內識別出圖像中的所有標記。

此外，該方法因為使用標記的識別歷史來減少需要比對的識別區域，因此能夠比現有識別方法更快速地找出標記在圖像中的新位置。