[發(fā)明專利]一種數(shù)字化虛實交互系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201410012952.5
• 申請日: 2014-01-12
• 公開（公告）號: CN103823554A
• 公開（公告）日: 2014-05-28
• 發(fā)明（設(shè)計）人: 張淑軍
• 申請（專利權(quán)）人: 青島科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/048;G06T15/02
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;顧煒

1.一種數(shù)字化虛實交互系統(tǒng)，該系統(tǒng)包括：手勢采集設(shè)備、處理設(shè)備以及顯示設(shè)備，如果用攝像機進行圖像采集，則使用顯示器進行顯示，否則使用觸摸屏同時捕捉并顯示用戶的指尖運動軌跡，處理設(shè)備負責進行核心處理工作。?

2.一種數(shù)字化虛實交互方法，其特征在于包括以下步驟：?

（1）跟蹤捕捉攝像機采集到的用戶指尖的運動軌跡；?

（2）在顯示器上實時繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡；?

（3）提取運動軌跡形成的輪廓并識別其形狀，賦予文字語義；?

（4）搭建三維模型庫，通過語義管理圖形庫中的三維模型；?

（5）根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應的三維模型并顯示三維虛擬環(huán)境；?

（6）用戶與三維模型及虛擬環(huán)境動態(tài)交互，實現(xiàn)數(shù)字化的虛實交互功能。?

3.根據(jù)權(quán)利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟（2）中在顯示器上實時繪制軌跡曲線的方法為：?

（2.1）通過背景差方法，從攝像機采集到的當前幀圖像中計算用戶指尖此時畫出的位置點信息；?

（2.2）通過曲線擬合連接上一幀與當前幀的位置點，并且存儲用戶連續(xù)畫下的每個指尖點的信息，每一幀都顯示至今為止畫出的軌跡線，即可清楚地顯示用戶指尖的運動軌跡。?

4.根據(jù)權(quán)利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟（2）中在觸摸屏上記錄用戶指尖軌跡的方法為：用戶每次在觸摸屏上用指尖觸碰一個位置，就在該位置上繪制對應的點，通過曲線擬合將上一幀與當前幀的位置點連接起來，形成運動軌跡。?

5.根據(jù)權(quán)利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟（3）中提取運動軌跡形成的輪廓并識別其形狀，賦予文字語義的步驟包含一個離線的數(shù)據(jù)準備工作，即建立二維形狀圖像庫，包括基本形狀和多種復雜形狀的二維圖像。?

6.根據(jù)權(quán)利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟（3）中提取運動軌跡形成的輪廓并識別其形狀，賦予文字語義的步驟為：?

（3.1）使用OpenCV中的輪廓提取函數(shù)cvFindContours提取運動軌跡形成的輪廓；?

（3.2）對得到的輪廓contours，計算其歸一化的傅里葉描述子，公式如下：?

其中，N為輪廓點的個數(shù)，z(k)為輪廓點序列{x(n)，y(n)}，n=0,1，…，N-1的離散傅里葉變換系數(shù)，即傅里葉描述子，計算公式如下：

（3.3）.通過歸一化的傅里葉描述子來進行輪廓之間的匹配，計算用戶手繪輪廓與二維形狀圖像庫中的每個形狀的差異，差異最小者即為匹配結(jié)果，最佳匹配的語義即為用戶手繪輪廓形狀的語義，完成形狀識別過程。?

7.根據(jù)權(quán)利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟（4）中搭建三維模型庫的步驟為：?

（4.1）根據(jù)文字語義為數(shù)據(jù)庫的主鍵，來組織數(shù)據(jù)庫的條目內(nèi)容；?

（4.2）所存儲的三維模型都具有在統(tǒng)一的世界坐標系下的三維坐標，便于導入系統(tǒng)中；?

（4.3）所存儲的模型導入系統(tǒng)之后，能在系統(tǒng)驅(qū)動下與用戶交互，形成一個具有沉浸感的虛實交互系統(tǒng)。?

8.根據(jù)權(quán)利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟（5）中根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應的三維模型并顯示三維虛擬環(huán)境的方法為：?

（5.1）根據(jù)用戶手繪軌跡的文字語義，檢索三維模型庫的主鍵；?

（5.2）使用OpenGL將對應的三維模型導入到系統(tǒng)中；?

（5.3）根據(jù)導入的三維模型，系統(tǒng)選擇對應的虛擬環(huán)境并渲染出來。?