[發(fā)明專利]全息虛擬人AR互動(dòng)展示方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910939486.8
• 申請(qǐng)日: 2019-09-30
• 公開（公告）號(hào): CN110673735A
• 公開（公告）日: 2020-01-10
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)沙自由視像信息科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00;G06T7/80
• 代理公司: 43225 長(zhǎng)沙國(guó)科天河知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 邱軼

1.全息虛擬人AR互動(dòng)展示方法，其特征在于，采用攝像組件對(duì)互動(dòng)區(qū)域進(jìn)行覆蓋拍攝，將能夠反映預(yù)設(shè)參與者表演內(nèi)容的全息虛擬形象錄入控制模塊，具體包括如下步驟：

步驟101，獲取當(dāng)前時(shí)刻互動(dòng)區(qū)域的實(shí)時(shí)單方位或多方位視圖；

步驟102，根據(jù)互動(dòng)區(qū)域的實(shí)時(shí)單方位或多方位視圖得到當(dāng)前時(shí)刻互動(dòng)區(qū)域的實(shí)時(shí)場(chǎng)景畫面；

步驟103，將當(dāng)前時(shí)刻互動(dòng)區(qū)域的實(shí)時(shí)場(chǎng)景畫面與預(yù)設(shè)參與者的全息虛擬形象進(jìn)行場(chǎng)景畫面融合，得到在當(dāng)前時(shí)刻實(shí)時(shí)場(chǎng)景畫面與預(yù)設(shè)參與者的全息虛擬形象之間交互的畫面幀，并將所述畫面幀發(fā)送至顯示組件進(jìn)行顯示；

步驟104，多次重復(fù)步驟101-103，獲取按時(shí)間排序的多個(gè)實(shí)時(shí)場(chǎng)景畫面與預(yù)設(shè)參與者的全息虛擬形象之間交互的畫面幀，并發(fā)送至顯示組件以完成全息虛擬人AR互動(dòng)展示。

2.根據(jù)權(quán)利要求1所述全息虛擬人AR互動(dòng)展示方法，其特征在于，所述將預(yù)設(shè)參與者的全息虛擬形象錄入控制模塊的過程為：

步驟201，獲取預(yù)設(shè)參與者在表演狀態(tài)下的多方位視圖；

步驟202，根據(jù)步驟201中預(yù)設(shè)參與者的多方位視圖對(duì)預(yù)設(shè)參與者的實(shí)時(shí)特征進(jìn)行3D全息虛擬化，得到能夠反映預(yù)設(shè)參與者表演內(nèi)容的全息虛擬形象；

步驟203，將能夠反映預(yù)設(shè)參與者表演內(nèi)容的全息虛擬形象存儲(chǔ)至控制模塊。

3.根據(jù)權(quán)利要求2所述全息虛擬人AR互動(dòng)展示方法，其特征在于，步驟202中，所述預(yù)設(shè)參與者的實(shí)時(shí)特征包括：身體姿態(tài)特征、表情神態(tài)特征、服裝特征、毛發(fā)特征。

4.根據(jù)權(quán)利要求3所述全息虛擬人AR互動(dòng)展示方法，其特征在于，步驟203中，將當(dāng)前時(shí)刻互動(dòng)區(qū)域的實(shí)時(shí)場(chǎng)景畫面與預(yù)設(shè)參與者的全息虛擬形象進(jìn)行場(chǎng)景畫面融合，具體為：

基于預(yù)設(shè)參與者的全息虛擬形象的手勢(shì)、身體姿勢(shì)與當(dāng)前時(shí)刻互動(dòng)區(qū)域的實(shí)時(shí)場(chǎng)景畫面融合。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述全息虛擬人AR互動(dòng)展示方法，其特征在于，步驟104還包括獲取攝像組件當(dāng)前時(shí)刻的外參，具體過程為：

步驟301，獲取攝像組件當(dāng)前幀與上一幀拍攝的圖像，并獲取兩幀圖像之間的光流；

步驟302，根據(jù)當(dāng)前幀圖像與上一幀圖像之間的光流獲取當(dāng)前幀圖像相對(duì)上一幀圖像的單應(yīng)矩陣；

步驟303，根據(jù)單應(yīng)矩陣獲取當(dāng)前幀圖像與上一幀圖像之間攝像組件外參的變化參數(shù)；

步驟304，根據(jù)前幀圖像與上一幀圖像之間攝像組件外參的變化參數(shù)以及上一幀圖像對(duì)應(yīng)時(shí)刻攝像組件的外參獲取當(dāng)前幀對(duì)應(yīng)時(shí)刻攝像組件的外參，即當(dāng)前時(shí)刻的攝像機(jī)外參。

6.全息虛擬人AR互動(dòng)展示裝置，其特征在于，包括：存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有全息虛擬人AR互動(dòng)展示程序，所述處理器在運(yùn)行所述程序時(shí)執(zhí)行所述權(quán)利要求1至5任一項(xiàng)方法所述的步驟。

7.全息虛擬人AR互動(dòng)展示設(shè)備，其特征在于，包括：

互動(dòng)平臺(tái)，用于提供互動(dòng)區(qū)域；

攝像組件，用于對(duì)互動(dòng)區(qū)域進(jìn)行覆蓋拍攝，用于獲取互動(dòng)區(qū)域的實(shí)時(shí)多方位視圖；

控制模塊，包括權(quán)利要求6所述的全息虛擬人AR互動(dòng)展示裝置，與攝像組件通信相連，用于存儲(chǔ)預(yù)設(shè)參與者的全息虛擬形象以及實(shí)時(shí)場(chǎng)景畫面與預(yù)設(shè)參與者的全息虛擬形象之間交互的畫面幀；

顯示組件，與控制模塊通信相連，用于展示預(yù)設(shè)參與者的全息虛擬形象之間交互的畫面幀。

8.根據(jù)權(quán)利要求7所述全息虛擬人AR互動(dòng)展示設(shè)備，其特征在于，所述顯示組件包括顯示屏，所述顯示屏正對(duì)互動(dòng)區(qū)域以用于展示預(yù)設(shè)參與者的互動(dòng)畫面。