[發(fā)明專利]一種數(shù)字化虛實交互系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201410012952.5
• 申請日: 2014-01-12
• 公開（公告）號: CN103823554A
• 公開（公告）日: 2014-05-28
• 發(fā)明（設(shè)計）人: 張淑軍
• 申請（專利權(quán)）人: 青島科技大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/048;G06T15/02
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 楊學(xué)明;顧煒

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)字化虛實交互系統(tǒng)及方法，屬于計算機圖形圖像處理及虛擬現(xiàn)實研究領(lǐng)域。?

背景技術(shù)

虛實交互是目前人機交互領(lǐng)域的重要發(fā)展方向，基于虛實結(jié)合技術(shù)，為用戶提供一個充滿想象力但又具真實感的環(huán)境，使用戶經(jīng)歷前所未有的體驗，也可完成協(xié)同設(shè)計、訓(xùn)練、教學(xué)等目標(biāo)功能。使用攝像機采集用戶真實的信息（包括手勢信息等），將其與三維虛擬世界相結(jié)合，構(gòu)建虛實混合環(huán)境，是一種很自然的虛實交互方法，但是如何能夠通過用戶隨機的即興發(fā)揮，生成用戶心中想要的三維場景并與之交互，目前還沒有成熟的技術(shù)。?

在藝術(shù)創(chuàng)作領(lǐng)域，手繪草圖是一種常用的用戶表達(dá)方式，也是藝術(shù)家重要的思維方式和創(chuàng)意創(chuàng)造過程，是一種通過畫面誘導(dǎo)獲取創(chuàng)意的技術(shù)。手繪草圖的數(shù)字化目前國內(nèi)外也都有研究，通過對手繪草圖的分析和識別來轉(zhuǎn)換為數(shù)字化產(chǎn)品，再應(yīng)用于教學(xué)、藝術(shù)/服裝/建筑設(shè)計等多個領(lǐng)域。但是這種處理也僅限于從二維到二維的過程，龔健等在文獻(xiàn)“龔健，費廣正，石民勇，曹瑋，基于手繪草圖輪廓檢索的簡筆繪圖系統(tǒng)，2008系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集，pp.761-764”中利用基于手繪草圖輪廓的圖像檢索技術(shù)實現(xiàn)了用于二維圖像繪制的簡筆繪圖系統(tǒng)，用戶利用檢索出來的圖像可做進(jìn)一步的編輯，既能保證繪圖的基本質(zhì)量，又提高了繪圖的效率。CMU的Wing?Ho?Leung等在文獻(xiàn)“Wing?Ho?Leung,Tsuhan?Chen,Hierarchical?Matching?for?Retrieval?of?Hand-Drawn?Sketches,International?Conference?on?Multimedia?and?Expo-Volume2,2003,pp.29-32”中提出了手繪草圖的層次化匹配檢索方法，通過對用戶手繪的逐個筆畫進(jìn)行匹配并考慮其空間關(guān)系來進(jìn)行檢索，減少了計算量，但仍然屬于二維處理的過程。?

本發(fā)明旨在將用戶手繪草圖即用戶實時繪制過程與圖像檢索和識別、三維環(huán)境渲染、用戶交互集成在一起，實現(xiàn)中國傳統(tǒng)文化中家喻戶曉的“神筆馬良”的故事效果，用戶在操作平臺徒手操作，即可看到相應(yīng)的三維模型在虛擬環(huán)境中自然出現(xiàn)（當(dāng)然也包括二維圖像的編輯與交互），并可與用戶交互運動。本發(fā)明主要涉及的技術(shù)包括用戶手繪軌跡的跟蹤、二維圖像形狀檢索、語義識別及三維模型加載、虛實交互等。本發(fā)明中采集到的用戶手勢輸入痕?跡可形成二維圖像，利用其形狀特征即可進(jìn)行語義的檢索與識別，通過圖形庫中加載對應(yīng)的三維模型，即可渲染虛擬環(huán)境，實現(xiàn)沉浸式虛實交互功能。?

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是：通過采集用戶指尖的運動軌跡，進(jìn)行二維或三維虛實交互。二維交互功能包括：將手勢軌跡轉(zhuǎn)換為圖像形狀，檢索圖像庫中具有該形狀的圖像并顯示，用戶可通過手勢動作對圖像進(jìn)行縮放、旋轉(zhuǎn)、編輯等操作；三維交互功能包括：通過用戶手繪軌跡形成的圖像識別出其語義，再根據(jù)語義檢索圖形庫中的三維模型，繪制相應(yīng)的虛擬環(huán)境，用戶可通過手勢動作與虛擬環(huán)境交互。?

本發(fā)明的技術(shù)解決方案為研究并實現(xiàn)數(shù)字化虛實交互系統(tǒng)及方法，其中系統(tǒng)硬件包括手勢采集設(shè)備（攝像機或觸摸屏）、處理設(shè)備（主機）以及顯示設(shè)備（顯示器或觸摸屏）。采用的方法包含如下步驟：（1）跟蹤捕捉攝像機采集到的用戶指尖的運動軌跡；（2）在顯示器上實時繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡；（3）提取運動軌跡形成的輪廓，檢測其形狀并賦予文字語義；（4）搭建三維模型庫，通過語義管理圖形庫中的三維模型；（5）根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應(yīng)的三維模型并顯示三維虛擬環(huán)境；（6）用戶與三維模型及虛擬環(huán)境動態(tài)交互，實現(xiàn)數(shù)字化的虛實交互功能。?

附圖說明

圖1是數(shù)字化虛實交互系統(tǒng)結(jié)構(gòu)示意圖；?

圖2是系統(tǒng)流程圖；?

圖3是用戶指尖運動軌跡繪制流程圖。?

具體實施方式

以下，參照附圖，對本發(fā)明的具體狀態(tài)作說明，但是本發(fā)明不限于圖示例。?

如圖1所示，數(shù)字化虛實交互系統(tǒng)由手勢采集設(shè)備（攝像機或觸摸屏）、處理設(shè)備（主機）以及顯示設(shè)備（顯示器或觸摸屏）組成。如果采用攝像機進(jìn)行圖像采集，則使用顯示器進(jìn)行顯示，要求攝像機采集的幀速不小于15fps，否則延遲會比較大，影響用戶進(jìn)行虛實交互的效果。?

如果使用觸摸屏，則可以同時捕捉并顯示（通過記錄點擊位置）用戶的指尖運動軌跡，主機負(fù)責(zé)進(jìn)行核心處理工作。?

如圖2所示，數(shù)字化虛實交互方法包括以下步驟：?

（1）跟蹤捕捉攝像機采集到的用戶指尖的運動軌跡；?