[發明專利]基于單個攝像機的沉浸式戶外活動交互平臺的實現方法

有效

• 申請號: 201310479754.5
• 申請日: 2013-10-14
• 公開（公告）號: CN103543827A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 李靜
• 申請（專利權）人: 南京融圖創斯信息科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T7/00
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 黃明哲

技術領域

本發明屬于計算機圖像處理技術領域，涉及混合現實技術，為一種特別面向戶外大屏幕的基于混合現實的人機交互方法。

背景技術

當前主流的混合現實應用大都是為低于30英寸以下屏幕開發，由于戶外活動的要求，一般都采用至少大于100英寸的LED高清大屏幕作為展示屏幕。另一方面，當前主要的用戶動作肢體交互方式為僅依靠圖形學方式計算和圖形學方式結合紅外及深度探測方式進行計算，這種方式較著名的設備為微軟的Kinect，該方式要求用戶在一定的范圍內運動，才能夠較為準確的計算測定，由于該設備是為低于60英寸的電視屏幕準備，因此該設備工作的最佳距離設定在距離屏幕的2至3米。對于戶外至少100英寸以上的大屏幕，該距離顯然不能滿足要求，本發明采用僅依靠圖像學的人體骨骼重建方法進行計算，配合使用高清攝像機，能夠戶外大屏幕的要求，將用戶的活動空間設定在最佳觀看距離。

發明內容

本發明針對現有技術中的問題，結合計算機圖形學技術和混合現實技術，提供一種應用在戶外大屏幕的人機交互方法，通過高清攝像采集技術及人體骨骼重建技術，實時計算用戶的骨骼，并以計算結果實現人機互動功能。最終，用戶可以在大屏幕中看到真實與虛擬相結合的互動效果。

本發明的技術方案為：基于單個攝像機的沉浸式戶外活動交互平臺的實現方法，基于混合現實技術，將真實世界中單個攝像機采集的用戶姿態圖像輸入混合現實服務器，在混合現實服務器中與事先設定的增強內容疊加，并通過戶外大屏幕顯示給用戶，所述增強內容包括二維畫面和三維虛擬模型，用戶利用不同的姿態同事先設定的增強內容進行互動，所述交互平臺的實現方法具體包括以下步驟：

首先執行配準訓練，包含二個步驟：

1）準備階段，對戶外的真實世界與混合現實服務器的虛擬世界進行配準：

11）在地面上劃一條垂直于戶外大屏幕的垂直線，垂足位于戶外大屏幕底邊中點；

12）在所述垂直線上確定用戶交互定位點，用戶交互定位點與戶外大屏幕距離為基準長度L1，基準長度L1大于戶外大屏幕的高度；

13）將真實攝像機放置于用戶交互定位點上方高于1.5米的位置，真實攝像機鏡頭方向保持水平且面向戶外大屏幕，即攝像機拍攝內容為整個大屏幕；在虛擬世界中設置對應于現實世界的交互場景，包括與現實中戶外大屏幕相同尺寸及相同位置的虛擬戶外大屏幕、虛擬用戶交互定位點以及虛擬攝像機，虛擬攝像機與虛擬戶外大屏幕的距離為基準長度L1’，L1’等于L1，虛擬攝像機拍攝的內容為整個虛擬大屏幕；將虛擬攝像機同真實攝像機所拍攝的畫面相疊加，以真實世界的戶外大屏幕作為參照物，對真實世界的戶外大屏幕的尺寸及虛擬戶外大屏幕的尺寸進行至少一次的配準；

14）在真實世界中，將真實攝像機由用戶交互定位點移動至位于戶外大屏幕側邊或頂部的工作位置，并在用戶交互定位點上，以垂直于地面，也即平行于戶外大屏幕樹立一個基準尺L2，L2的高度大于等于1米；

15）移動虛擬攝像機至虛擬世界中對應于步驟14）真實攝像機的工作位置，并在虛擬世界中的用戶交互定位點上，以垂直于地面，樹立一個同真實世界相對應的虛擬基準尺L2’，L2’的高度大于等于1米且等于L2，以真實基準尺L2為參照物，對真實基準尺L2和虛擬基準尺L2’進行配準；

16）保存此時虛擬世界場景的位置和角度信息；

2）補充配準階段：

21）在真實世界中，將真實攝像機放置于戶外大屏幕側邊或頂部的工作位置，根據真實攝像機的圖像采集范圍選定用戶的互動位置，在選定的互動位置處貼上觸發圖標，同時將觸發圖標的范圍內作為用戶的活動范圍，即超過此活動范圍的動作將得不到識別；

22）在虛擬世界中，對應于真實世界的相同位置處設定虛擬觸發圖標，以真實觸發圖標為參照物進行配準，將本次配準調后得到對場景位置和角度的調整信息同準備階段1）配準后獲得的虛擬世界場景的位置和角度信息合并，得到最優的場景位置和角度信息；

完成配準訓練后，進入實時跟蹤階段；

3）實時跟蹤階段：

31）用戶站在觸發圖標上后，由真實攝像機獲得觸發圖標被遮擋信息，由系統自動或人工觸發虛擬世界中的相關信息，并疊加至真實世界采集的圖像，獲得混合現實的效果；

32）根據圖像采集裝置采集到的圖像，對用戶的三維運動骨骼進行重建，在獲得用戶的肢體位置信息后，事先設定的增強信息按照設置好的要求同用戶的肢體位置信息進行交互。