[發(fā)明專利]沉浸式交互系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410044065.6
• 申請日: 2014-01-30
• 公開（公告）號: CN103777915B
• 公開（公告）日: 2017-11-03
• 發(fā)明（設(shè)計）人: 于漢超;陳益強;劉軍發(fā);黃陳;黃龍;楊曉東
• 申請（專利權(quán)）人: 中國科學(xué)院計算技術(shù)研究所
• 主分類號: G06F3/14
• 分類號: G06F3/14
• 代理公司: 北京泛華偉業(yè)知識產(chǎn)權(quán)代理有限公司11280
• 代理人: 王勇,李科

技術(shù)領(lǐng)域

本發(fā)明涉及計算機圖形學(xué)、計算機視覺技術(shù)領(lǐng)域，具體地說，本發(fā)明涉及一種沉浸式交互系統(tǒng)。

背景技術(shù)

隨著社會的發(fā)展，處在不同地點的人們迫切需要分布式遠程互動平臺。遠程視頻系統(tǒng)（如視頻電話系統(tǒng)）就是一種典型的分布式遠程互動平臺，它雖然能夠在一定程度上拉近人與人之間的距離，但是其難以模擬一些基于桌面操作的復(fù)雜交互場景。例如，有時交互雙方需要共同討論、修改文件，家長需要輔導(dǎo)孩子功課或者進行下棋等娛樂活動，傳統(tǒng)的遠程視頻系統(tǒng)顯然無法真實地還原上述場景，無法給人帶來身臨其境的感受。

因此，當前迫切需要一種具有面對面交流效果的遠程沉浸式交互解決方案。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種具有面對面交流效果的遠程沉浸式交互解決方案。

為實現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種沉浸式交互系統(tǒng)，包括：實物工作臺、第一攝影設(shè)備、第一顯示設(shè)備，所述實物工作臺上設(shè)置有所述工作區(qū)域，所述第一攝影設(shè)備用于拍攝本地的所述工作區(qū)域的圖像，所述第一顯示設(shè)備用于顯示對端工作區(qū)域的虛擬圖像，其中，對端工作區(qū)域的虛擬圖像的顯示區(qū)域與本地的所述工作區(qū)域重合。這樣，交互雙方能夠遠程實現(xiàn)面對面交流中的手把手地協(xié)同工作的效果。

其中，所述第一攝影設(shè)備用于在第一時隙拍攝本地的所述工作區(qū)域的圖像，所述第一顯示設(shè)備用于在第二時隙顯示對端工作區(qū)域的虛擬圖像。

其中，所述實物工作臺上設(shè)置有轉(zhuǎn)盤，本地的所述工作區(qū)域設(shè)置在所述轉(zhuǎn)盤上，所述數(shù)據(jù)處理設(shè)備用于控制本地和對端的轉(zhuǎn)盤同步轉(zhuǎn)動。

其中，所述沉浸式交互系統(tǒng)還包括用于顯示對端交互者圖像的第二顯示設(shè)備，所述第二顯示設(shè)備的所顯示的圖像與本地的所述工作區(qū)域大致垂直。這樣，交互雙方能夠遠程實現(xiàn)完整的面對面交流的效果。

其中，所述第二顯示設(shè)備所顯示的對端交互者圖像為裁剪掉手部的對端交互者圖像，第二顯示設(shè)備所顯示的所述裁剪掉手部的對端交互者圖像與本地的所述工作區(qū)域所顯示的對端工作區(qū)域的虛擬圖像中的手部拼接。

其中，所述第二顯示設(shè)備為全息投影儀。

其中，所述沉浸式交互系統(tǒng)還包括與所述第二顯示設(shè)備配合的全息屏幕，所述全息屏幕底部邊緣緊靠本地的所述工作區(qū)域的邊緣，并且全息屏幕與本地的所述工作區(qū)域大致垂直，所述全息屏幕上顯示的預(yù)處理后的對端人物圖像的手腕部與本地的所述工作區(qū)域所顯示的對端工作區(qū)域的虛擬圖像中的手部拼接。

其中，所述沉浸式交互系統(tǒng)還包括第二攝影設(shè)備，用于拍攝本地交互者的全息人物圖像。

其中，所述沉浸式交互系統(tǒng)還包括數(shù)據(jù)處理設(shè)備，用于對本地交互者圖像進行預(yù)處理，所述預(yù)處理包括從交互者圖像中裁剪掉手部，以及將預(yù)處理后的本地交互者圖像和本地的所述工作區(qū)域的圖像傳輸至交互對端。

其中，所述第二攝像設(shè)備用于拍攝含深度數(shù)據(jù)的交互者圖像，含深度數(shù)據(jù)的交互者圖像包括亮度數(shù)據(jù)和與其對應(yīng)的深度數(shù)據(jù)。

本發(fā)明還提供了一種基于前述的沉浸式交互系統(tǒng)的從人物圖像中裁剪掉手部的處理方法，包括：

1）從亮度數(shù)據(jù)的圖像中，基于膚色模型提取出手部的外接矩形；

2）根據(jù)外接矩形的長度計算出手部的長度a；

3）根據(jù)深度數(shù)據(jù)得到人物圖像中離屏幕最近的像素點A；

4）根據(jù)深度數(shù)據(jù)裁剪人物圖像中與像素點A的深度差小于長度a的像素點，得到裁剪手部后的人物圖像。

其中，所述亮度數(shù)據(jù)為RGB數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明具有下列技術(shù)效果：

1、本發(fā)明能夠讓遠程用戶之間可以手把手地協(xié)同工作。

2、本發(fā)明能夠提供遠程三維沉浸式自然交互，讓遠程用戶之間不但可以互相看到對方的視頻信息，還可以手把手地協(xié)同工作，完整再現(xiàn)了面對面交流的效果。

3、本發(fā)明為用戶提供清晰自然逼真的畫面，并且工作區(qū)域虛實結(jié)合且可轉(zhuǎn)動，給人極強的真實感和沉浸感。

附圖說明

圖1示出了本發(fā)明一個實施例的沉浸式交互系統(tǒng)的結(jié)構(gòu)示意圖；

圖2示出了本發(fā)明一個實施例的在一個應(yīng)用場景下的工作區(qū)域的畫面示意圖；

圖3示出了本發(fā)明一個實施例中遠程視頻對象的手從屏幕里伸出來的效果示意圖；

圖4示出了本發(fā)明一個實施例中轉(zhuǎn)盤與全息屏幕的主視示意圖；

圖5示出了本發(fā)明一個實施例中轉(zhuǎn)盤與全息屏幕的俯視示意圖；

圖6示出了本發(fā)明一個實施例中沉浸式交互系統(tǒng)之間的遠程交互示意圖；