[發明專利]一種面向本地群體的非接觸式自然人機交互技術及系統

無效

• 申請號: 201310284568.6
• 申請日: 2013-07-09
• 公開（公告）號: CN103399631A
• 公開（公告）日: 2013-11-20
• 發明（設計）人: 李輝;陳鵬;黃濤
• 申請（專利權）人: 四川大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;H04N9/31;G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及虛擬現實領域，特別是涉及到多投影機的圖像拼接與融合、人機交互以及人工智能方面。

背景技術

隨著經濟生活水平的提高，人們對像迪士尼樂園、環球影城這樣的娛樂場所的消費需求越來越高，虛擬現實早已不限于游戲領域，在國外已經成為人們日常生活的必需品。

當前在許多大型場館中多人虛擬現實系統前景廣闊。以大型游樂園為例，過山車、激流沖浪等設備是它們的傳統核心設備?，F在國際上的頂級主題公園如環球影城、迪斯尼樂園已經普遍裝備基于異形大屏幕、運動平臺和被動立體數字視頻的虛擬現實游樂系統。而國內現在主要還處在傳統機械式游樂設備和標準的4D影院階段，少量的高端虛擬現實游樂設備主要依賴國外進口。

要進一步提高娛樂系統的體驗感，其核心在于提升用戶的沉浸感和帶入感。現有的頂級大型數字游樂系統雖然有了很多精巧的創意，但是都還是被動式的，在整個游戲的進程中用戶沒有辦法交互，視頻也是事先錄制的，而事實上交互可以帶來強烈的參與感，用戶體驗將大不一樣。

全自動的反饋系統，主動根據人的需求來調節畫面的轉變，極大提升的人的沉浸感。足不出戶，自助旅游的以前很難處在想象階段的活動即將成為現實。視頻控制系統控制投影機播放不同方位的想象，形成超大的環幕效果，視野范圍大提升了真實感。同時用戶可以在環幕里面活動，感應系統可以接收人的行為，從而反饋到控制系統，通知系統來調整圖像的播放順序。

大規模高沉浸感虛擬空間系統的環境較為封閉，使用投影儀數量規模龐大，投影屏幕尺寸巨大、形狀復雜。傳統色彩一致性校正技術主要針對一般多投影融合顯示系統，無法適應大規模虛擬空間構建的要求。

課題申請者已經建立了一種針對帶有異形、多重投影重疊區域的多投影融合顯示系統的快速、實用的亮度一致性校正和邊緣融合方法。該方法借助GPU硬件并行計算來快速求解一個建立在精確幾何標定結果上的關于投影屏幕上亮度分布一致性的非線性最優化問題：

其中，?為第個投影儀對應的幾何標定網格，?為第個投影儀亮度分布函數，

為亮度一致性目標函數。

?

在建立精確描述投影儀-屏幕系統色彩分布數學模型的基礎上，借助投影儀色彩差異理論和高動態范圍成像技術的幫助，擬構建基于普通攝像頭的大規模投影區域色彩測量技術。該技術可快速、自主完成所有投影像素色彩信息的測量，從而形成數字相機色彩空間下關于投影儀亮度一致性非線性最優化方程（1）和色度值一致性線性方程組（2）。

???????????????（2）

其中為每個投影儀像素在數字相機色彩空間下的色度坐標，?是待求解的每個投影儀的色度校正矩陣。

在GPU并行計算的協助下，可以完成聯立非線性優化方程（1）和（2）的迭代快速求解，從而得到可實時校正投影畫面的融合模版和色度校正矩陣陣列，形成適合任意規模投影機群和任意尺度、形狀投影屏幕的投影畫面色彩測量、差異補償和異形重疊區域邊緣融合技術。

發明內容

本發明要解決的技術問題是提供大規規模的虛擬感官系統（包括軟件系統和硬件裝置），給用戶超乎想象的真實感和沉浸感，讓用戶足不出戶就可以體驗超真實的視覺景觀效果，同時也可以方便地與用戶進行交互，讓室內自助旅游成為可行。

針對多人本地協同的虛擬現實情境，研究以虛擬化為接口的非接觸式自然人機交互技術。重點研究并解決多人實時運動跟蹤問題，精確獲取群組中各個體的位置和特殊部位運動數據，構建非接觸式、自然、高效的人機交互通道。

在多人本地協同情況下，一方面需要支持數十人規模的群體交互，并兼顧到交互的實時性、用戶體驗的自然性；另一方面考慮到大型游樂設備的場地規模較大，我們擬采用標注點的方法通過光學捕獲技術來獲取自然人的運動，并驅動虛擬情境中相應的虛擬化身，從而構建非接觸式人機交互通道。研究框架如下圖4所示。

其中核心研究內容包括：多人標注點數據的在線標注技術、多人標注點數據的丟失點在線恢復技術兩個部分。除這兩部分外，光學跟蹤采用成熟設備，角度計算采用現有基于四元數的關節角度計算方法。

實現面向群體的非接觸式自然人機交互技術。具體技術步驟包括：光學跟蹤、多人標注點數據的在線標注、多人標注點數據的丟失點在線恢復技術和角度計算四個步驟（如圖5所示）。其中，光學跟蹤采用成熟設備，角度計算采用現有基于四元數的關節角度計算方法。