[發明專利]一種數字曾侯乙編鐘虛擬現實體感交互系統與方法

有效

• 申請號: 201310141857.0
• 申請日: 2013-04-22
• 公開（公告）號: CN103207677B
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 楊宇辰;朱青;李蔚然;車冠岐
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/033
• 代理公司: 北京思海天達知識產權代理有限公司11203
• 代理人: 張慧

技術領域

本發明屬于計算機仿真技術領域，涉及虛擬仿真技術、計算機圖形學、人機交互學和多媒體技術，尤其涉及一種數字曾侯乙編鐘虛擬現實體感交互系統與方法。

背景技術

傳統的文物展出，一般要將文物實體搬運至展出地點，展覽后再將其運回原處；或者對真品進行復制，使用贗品展出。使用這些文物展示方法，需要考慮多方面問題，例如：文物的運輸，文物的安全與保護，贗品的加工技術與成本，文物的展覽環境，以及文物的出入境合法問題等。這些問題限制了某些大型文物和珍貴文物的展覽，例如曾侯乙編鐘，它是我國國家一級保護文物，不允許出境展出。整套編鐘重達5噸，且已有2400多年的歷史，極其珍貴。在國內展出需要解決搬運不便等問題。另外，由于曾侯乙編鐘年代久遠，展覽時需要苛刻的存放環境，故一般參觀者不允許近距離參觀，也沒有機會敲擊演奏編鐘。即便使用贗品，仍然無法解決搬運困難的問題，且其成本也極高，在很大程度上限制了這件文化瑰寶的對外展示。

傳統的靜態圖片文字展示存在表達不生動，交互不豐富的問題。目前基于多媒體技術的文物展示技術已經可以很好的從視覺上對文物進行復原。一般來說，多媒體文物展示多使用顯示器或投影儀來進行展示。而交互方面，則多使用觸摸屏交互，或使用鍵盤、鼠標進行交互。若使用上述幾種交互方式，雖然能達到一定的視覺和展示效果，但是它們都無法實現“演奏編鐘”的功能。真實的編鐘需要使用小錘進行演奏，這顯然是觸摸式交互無法模擬實現的。另外，大型的觸摸屏顯示設備的造價很高，不利于推廣。投影儀雖然顯示尺寸大，卻很難與觸摸設備結合在一起。

發明內容

針對文物實物展覽的種種局限和現有多媒體虛擬現實技術使用鍵盤或鼠標、觸摸屏等交互方式中存在的不足，本發明提供了一種多媒體虛擬現實體感交互系統和方法，從視覺和聽覺上再現曾侯乙編鐘，通過肢體動作與虛擬曾侯乙編鐘進行交互。

本發明采用的技術方案如下：

一種數字曾侯乙編鐘虛擬現實體感交互系統，借助計算機、體感傳感器、顯示設備、音響設備和虛擬仿真軟件實現。個人計算機運行系統軟件，并分別輸出視頻與音頻信號至顯示和音響設備；體感交互控制器將用戶（或觀覽者）的體感動作信息輸入至計算機，實現體感交互；顯示設備將計算機輸出的視頻信號轉換成圖像，展示曾侯乙編鐘；音響設備將計算機輸出的虛擬現實的音頻信號轉換成聲音。其特征在于，該系統包括：體感交互輸入模塊，邏輯交互模塊，虛擬現實視覺顯示模塊和虛擬現實音頻輸出模塊。其中：

體感交互輸入模塊，用于接收體感控制器輸入的動作數據，根據一段時間內的動作數據和預制的動作數據判斷目前的動作內容，并將動作狀態與細節送至邏輯交互模塊。所述體感交互輸入模塊包括：輸入數據接口，預制動作識別庫，動作判斷模塊。其中：

輸入數據接口，用于接收體感控制器的旋轉姿態、空間坐標，以及固定式體感控制器捕捉的用戶骨骼動作信息等輸入數據，并將它們轉換成與預制動作識別庫相匹配的數據結構；

預制動作識別庫，是一套事先設定好的動作特征庫，當軟件輸入數據接口將數據傳輸到動作判斷模塊時，動作判斷模塊將當前數據的特征與預制動作識別庫中的動作特征進行比對，以判斷當前用戶的動作是否與預先設置的動作吻合；

動作判斷模塊，用于判斷輸入數據與動作庫中的動作是否吻合，并將當前的動作狀態與動作細節發送到邏輯交互模塊。

邏輯交互模塊，接收來自體感交互輸入模塊的輸入數據，根據接收數據的特征和細節調用指定的功能，并根據指定的功能調用虛擬現實視覺顯示模塊和虛擬現實音頻輸出模塊，向用戶輸出不同的交互結果。它還管理當前運行時所處的功能模塊，根據輸入切換當前運行的功能模塊，加載不同的資源，以實現不同的功能和運算。功能模塊可以根據需求進行增減，以方便擴大本系統的需求。

虛擬現實視覺顯示模塊，用于處理虛擬現實中的視覺信息，包括：三維渲染模塊，數字曾侯乙編鐘三維實體，用戶界面顯示和管理模塊。其中，

三維渲染模塊，用于向邏輯交互模塊提供三維渲染接口。當邏輯交互模塊根據指定邏輯調用渲染模塊時，三維渲染模塊執行指定的渲染任務；

數字曾侯乙編鐘實體，是根據編鐘原物進行精確數字復原，利用三維建模技術、三維雕刻技術以及計算機圖形學技術得到的編鐘的數字化三維素材，所有的紋理細節，材質細節均來自實物；

用戶界面顯示和管理模塊，用于提供UI（用戶界面，User Interface）的顯示刷新接口，當邏輯交互模塊調用用戶界面顯示和管理模塊時，該模塊顯示相應的UI信息。