[發(fā)明專利]一種全息互動(dòng)裝置及其處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210829154.6
• 申請(qǐng)日: 2022-07-15
• 公開（公告）號(hào): CN115016648B
• 公開（公告）日: 2022-12-20
• 發(fā)明（設(shè)計(jì)）人: 王占奎;孟凡華
• 申請(qǐng)（專利權(quán)）人: 大愛全息（北京）科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G09F9/33;G10L17/22
• 代理公司: 北京威禾知識(shí)產(chǎn)權(quán)代理有限公司 11838
• 代理人: 王月玲

1.一種全息互動(dòng)裝置，其特征在于，包括：

殼體，其上開設(shè)有透明的視窗，對(duì)應(yīng)于視窗的內(nèi)部空間為互動(dòng)人員可見的互動(dòng)區(qū)，剩余空間為互動(dòng)人員不可見的設(shè)備區(qū)；

互動(dòng)模塊，其安裝于所述殼體上，經(jīng)配置以采集互動(dòng)人員的視頻圖像和語音，輸出互動(dòng)語音；

全息展示模塊，其位于所述殼體內(nèi)部，經(jīng)配置以播放與當(dāng)前互動(dòng)模式相應(yīng)的虛擬角色體態(tài)視頻及輔助視頻，所述輔助視頻與所述虛擬角色體態(tài)視頻形成具有景深的全息影像并展示在互動(dòng)區(qū)；

所述全息展示模塊包括：

第一視頻播放單元，其位于互動(dòng)區(qū)，與處理模塊相連接，經(jīng)配置以播放第一視頻；所述第一視頻播放單元包括第一LED顯示屏，其直立安裝在內(nèi)部空間的互動(dòng)區(qū)內(nèi)，其正面與視窗相對(duì)；

第二視頻播放單元，其位于設(shè)備區(qū)，與處理模塊相連接，經(jīng)配置以播放第二全息視頻；以及

光場(chǎng)單元，其位于互動(dòng)區(qū)，其光接收面與所述第二視頻播放單元相對(duì)，經(jīng)配置以將所述第二全息視頻內(nèi)容成像在第一視頻的后面或前面；

其中，所述第一視頻為虛擬角色的體態(tài)視頻或輔助視頻；對(duì)應(yīng)地，所述第二全息視頻為輔助視頻或虛擬角色的體態(tài)視頻；

其中，所述第二視頻播放單元包括第二LED顯示屏，其安裝在內(nèi)部空間的上部設(shè)備區(qū)，其正面朝下，或安裝在內(nèi)部空間的底部設(shè)備區(qū)，其正面朝上；對(duì)應(yīng)地，所述光場(chǎng)單元為全息膜平板，其安裝在互動(dòng)區(qū)，與所述第二LED顯示屏呈45度角，將第二LED顯示屏播放第二全息視頻內(nèi)容成像在第一LED顯示屏播放的第一視頻內(nèi)容的前面；或者

所述第二視頻播放單元包括第二LED顯示屏，其安裝在內(nèi)部空間的上部設(shè)備區(qū)，其正面朝下，或安裝在內(nèi)部空間的底部設(shè)備區(qū)，其正面朝上；對(duì)應(yīng)地，所述光場(chǎng)單元為透明四面錐體，將第二LED顯示屏播放第二全息視頻內(nèi)容成像在第一LED顯示屏播放的第一視頻內(nèi)容的前面；或者

所述第二視頻播放單元包括兩個(gè)矩形第三LED顯示屏，以視窗高度方向的中軸面作為對(duì)稱面，兩個(gè)第三LED顯示屏豎直對(duì)稱地安裝在內(nèi)部空間的左右兩側(cè)的設(shè)備區(qū)；對(duì)應(yīng)地，所述光場(chǎng)單元由兩個(gè)矩形第一全息膜平板構(gòu)成，豎直對(duì)稱地安裝在互動(dòng)區(qū)內(nèi)；所述兩個(gè)矩形第一全息膜平板的第一豎邊在中軸面上連接在一起，且兩個(gè)矩形第一全息膜平板呈第一夾角；所述光場(chǎng)單元將兩個(gè)矩形第三LED顯示屏播放的第二全息視頻成像在第一LED顯示屏播放的第一視頻內(nèi)容的后面；

處理模塊，其位于殼體內(nèi)部的設(shè)備區(qū)，分別與所述互動(dòng)模塊和全息展示模塊相連接，經(jīng)配置以基于互動(dòng)人員的視頻圖像和語音信息生成當(dāng)前互動(dòng)模式下的虛擬角色的體態(tài)視頻及互動(dòng)語音，并將所述虛擬角色的體態(tài)視頻發(fā)送給所述全息展示模塊，將互動(dòng)語音發(fā)送給互動(dòng)模塊，其中，虛擬角色的體態(tài)、表情與互動(dòng)語音內(nèi)容相匹配；以及

模式監(jiān)視模塊，其位于殼體內(nèi)部的設(shè)備區(qū)，與所述處理模塊相連接，經(jīng)配置以在互動(dòng)過程中基于互動(dòng)人員的語音和/或從視頻圖像識(shí)別到的表情、肢體動(dòng)作識(shí)別互動(dòng)人員意圖，并根據(jù)互動(dòng)人員意圖變更互動(dòng)模式，將變更后的互動(dòng)模式發(fā)送給所述處理模塊；其中，虛擬角色的外在形象、體態(tài)和互動(dòng)語音與互動(dòng)模式一一對(duì)應(yīng)；對(duì)應(yīng)地，所述處理模塊在接收到模式監(jiān)視模塊發(fā)送的基于互動(dòng)人員意圖變更的互動(dòng)模式后，在生成變更后互動(dòng)模式下的虛擬角色的體態(tài)視頻及互動(dòng)語音之前，獲取過渡互動(dòng)體態(tài)視頻，并發(fā)送給全息展示模塊展示所述過渡互動(dòng)體態(tài)視頻；所述過渡互動(dòng)體態(tài)視頻包括當(dāng)前互動(dòng)模式對(duì)應(yīng)的虛擬角色與變更后互動(dòng)模式對(duì)應(yīng)的虛擬角色正在進(jìn)行互動(dòng)的視頻。

2.根據(jù)權(quán)利要求1所述的全息互動(dòng)裝置，其特征在于，所述互動(dòng)模塊包括：

一個(gè)以上的攝像頭，經(jīng)配置以分別采集互動(dòng)人員的面部表情和肢體動(dòng)作的視頻圖像；

麥克風(fēng)或麥克風(fēng)陣列，經(jīng)配置以采集互動(dòng)人員的語音；以及

揚(yáng)聲器，經(jīng)配置以接收并播放來自處理模塊的互動(dòng)語音。