[發(fā)明專利]一種真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的定位方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110414359.3
• 申請(qǐng)日: 2021-04-16
• 公開（公告）號(hào): CN113112612A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 崔巖
• 申請(qǐng)（專利權(quán)）人: 中德（珠海）人工智能研究院有限公司;珠海市四維時(shí)代網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06T19/20;G06T17/00;G06T13/40
• 代理公司: 深圳德高智行知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44696
• 代理人: 李昕

1.一種真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的定位方法，其特征在于，包括以下步驟：

S1：人體采集模塊通過相機(jī)拍攝獲取真實(shí)人物圖像，并獲取所述人物的三維數(shù)據(jù)信息和位置信息，建立所述真實(shí)人物圖像的包含三維數(shù)據(jù)信息和位置信息的人體三維模型；

S2：虛擬生成模塊生成虛擬內(nèi)容；

S3：圖像合成模塊根據(jù)人體三維模型的三維數(shù)據(jù)信息和位置信息與虛擬內(nèi)容結(jié)合計(jì)算，合成所述真實(shí)人物圖像與虛擬內(nèi)容，得到初步的三維場(chǎng)景；

S41：利用人物遮擋模塊將所述真實(shí)人物圖像與虛擬內(nèi)容的展示進(jìn)行協(xié)調(diào)，使虛擬內(nèi)容能夠在所述真實(shí)人物圖像后面顯示，得到最終的三維場(chǎng)景；

和/或，

S42：利用人物遮擋模塊將所述真實(shí)人物圖像與虛擬內(nèi)容的展示進(jìn)行協(xié)調(diào)，通過所述真實(shí)人物圖像的位置信息實(shí)時(shí)變化調(diào)整對(duì)應(yīng)位置虛擬內(nèi)容的展示變化，得到最終的三維場(chǎng)景；

S5：將最終的三維場(chǎng)景進(jìn)行展示，實(shí)現(xiàn)相機(jī)拍攝的真實(shí)人物圖像在虛擬內(nèi)容里符合視覺規(guī)律的實(shí)時(shí)動(dòng)態(tài)活動(dòng)和變化。

2.如權(quán)利要求1所述的真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的定位方法，其特征在于，所述步驟S41和/或步驟S42還包括以下步驟：

所述人物遮擋模塊通過繪圖管線定義緩沖區(qū)模塊；

所述緩沖區(qū)模塊包括像素信息的緩沖區(qū)和深度緩沖區(qū)，通過所述像素信息用于標(biāo)識(shí)來自相機(jī)源的對(duì)象的形狀，利于后續(xù)使用所述像素信息來遮擋虛擬內(nèi)容，根據(jù)所述深度緩沖區(qū)提供真實(shí)人物圖像的深度位置信息。

使用遮片提取的初步的三維場(chǎng)景可以從場(chǎng)景中正確地提取人物，結(jié)合深度緩沖區(qū)的深度位置信息進(jìn)行計(jì)算，使人物遮擋模塊可以正確的定位初步的三維場(chǎng)景中的深度基準(zhǔn)面；

重新繪制初步的三維場(chǎng)景，使虛擬內(nèi)容能夠在所述真實(shí)人物圖像后面顯示，得到最終的三維場(chǎng)景。

3.如權(quán)利要求2所述的真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的定位方法，其特征在于，還包括以下步驟：

使所述像素信息的緩沖區(qū)和所述深度緩沖區(qū)和所述相機(jī)的像素、運(yùn)行頻率保持一致。

4.如權(quán)利要求1所述的真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的定位方法，其特征在于，所述步驟S2還包括以下步驟：

通過環(huán)境生成單元將3D場(chǎng)景素材庫(kù)的素材進(jìn)行編輯；

通過定位坐標(biāo)系單元為編輯后的素材添加定位坐標(biāo)系，并提取展示區(qū)域的定位坐標(biāo)。

5.如權(quán)利要求1所述的真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的定位方法，其特征在于，所述步驟S3的圖像合成模塊，還包括以下步驟：

S31：通過圖片疊加單元根據(jù)三維數(shù)據(jù)信息為人體三維模型設(shè)置展示骨骼點(diǎn)；

S32：將虛擬內(nèi)容疊加在真實(shí)人物圖像的上層；

S33：根據(jù)展示骨骼點(diǎn)的空間坐標(biāo)與定位坐標(biāo)進(jìn)行匹配和綁定，二者重合后得到初步的三維場(chǎng)景。

6.一種真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的系統(tǒng)，其特征在于，包括：人體采集模塊、虛擬生成模塊、圖像合成模塊、人物遮擋模塊，

所述人體采集模塊通過相機(jī)拍攝獲取真實(shí)人物圖像，并獲取所述人物的三維數(shù)據(jù)信息和位置信息，建立所述真實(shí)人物圖像的包含三維數(shù)據(jù)信息和位置信息的人體三維模型；

所述虛擬生成模塊生成虛擬內(nèi)容；

所述圖像合成模塊根據(jù)人體三維模型的三維數(shù)據(jù)信息和位置信息與虛擬內(nèi)容結(jié)合計(jì)算，合成所述真實(shí)人物圖像與虛擬內(nèi)容，得到初步的三維場(chǎng)景；

所述人物遮擋模塊將所述真實(shí)人物圖像與虛擬內(nèi)容的展示進(jìn)行協(xié)調(diào)，使虛擬內(nèi)容能夠在所述真實(shí)人物圖像后面顯示，得到最終的三維場(chǎng)景；

和/或，

所述人物遮擋模塊將所述真實(shí)人物圖像與虛擬內(nèi)容的展示進(jìn)行協(xié)調(diào)，通過所述真實(shí)人物圖像的位置信息實(shí)時(shí)變化調(diào)整對(duì)應(yīng)位置虛擬內(nèi)容的展示變化，得到最終的三維場(chǎng)景。

7.如權(quán)利要求6所述的真實(shí)人物與混合現(xiàn)實(shí)動(dòng)態(tài)疊加的系統(tǒng)，其特征在于，所述虛擬生成模塊包括3D場(chǎng)景素材庫(kù)、環(huán)境生成單元、定位坐標(biāo)系單元，通過所述環(huán)境生成單元將所述3D場(chǎng)景素材庫(kù)的素材進(jìn)行編輯；

所述定位坐標(biāo)系單元用于為編輯后的素材添加定位坐標(biāo)系，并提取展示區(qū)域的定位坐標(biāo)。