[發(fā)明專利]基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時(shí)錄制方法及錄制設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710986097.1
• 申請(qǐng)日: 2015-12-30
• 公開（公告）號(hào): CN107682688B
• 公開（公告）日: 2020-02-07
• 發(fā)明（設(shè)計(jì)）人: 張小軍;王鳳偉;王偉楠
• 申請(qǐng)（專利權(quán)）人: 視辰信息科技(上海)有限公司
• 主分類號(hào): H04N13/204
• 分類號(hào): H04N13/204;H04N13/189;H04N13/161;H04N13/275
• 代理公司: 31252 上海大邦律師事務(wù)所
• 代理人: 郜少毅

本發(fā)明實(shí)施例提供了一種基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時(shí)錄制方法及錄制設(shè)備。所述錄制設(shè)備，包括AR引擎和3D引擎，其中：所述AR引擎，用于接收?qǐng)D像信息，識(shí)別所述圖像信息中的目標(biāo)物體，并提取所述目標(biāo)物體的屬性信息，將所述目標(biāo)物體的屬性信息和所述目標(biāo)物體所處的環(huán)境內(nèi)容發(fā)送給所述3D引擎，所述環(huán)境內(nèi)容包括所述目標(biāo)物體所處的環(huán)境信息；所述3D引擎，用于接收所述AR引擎發(fā)送的目標(biāo)物體的屬性信息和環(huán)境內(nèi)容，并根據(jù)所述目標(biāo)物體的屬性信息確定所述目標(biāo)物體所對(duì)應(yīng)的虛擬內(nèi)容，將所述虛擬內(nèi)容中需要錄制的內(nèi)容與所述環(huán)境內(nèi)容進(jìn)行疊加，形成交互內(nèi)容，以使所述交互內(nèi)容能被合成為圖像，以及將所述交互內(nèi)容與所述虛擬內(nèi)容中不需要錄制的內(nèi)容疊加后通過顯示單元顯示出來。

技術(shù)領(lǐng)域

本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時(shí)錄制方法及錄制設(shè)備。

背景技術(shù)

AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí))技術(shù)是一種全新的人機(jī)交互技術(shù)，通過智能終端設(shè)備和可視化技術(shù)將虛擬內(nèi)容應(yīng)用到真實(shí)世界，使得虛擬內(nèi)容和真實(shí)世界同時(shí)疊加到同一個(gè)畫面或空間呈現(xiàn)給用戶。隨著智能終端的普及，AR技術(shù)的應(yīng)用愈加廣泛，可以通過在智能終端上安裝AR應(yīng)用進(jìn)行體驗(yàn)。具體的，AR應(yīng)用的工作流程如下：智能終端通過攝像頭拍攝圖像幀，對(duì)圖像幀進(jìn)行識(shí)別，確定AR目標(biāo)物體；對(duì)圖像幀中的AR目標(biāo)物體進(jìn)行跟蹤，確定AR目標(biāo)物體的位置，獲取與所述AR目標(biāo)物體相關(guān)聯(lián)的AR虛擬內(nèi)容，對(duì)圖像幀進(jìn)行渲染，將所述AR虛擬內(nèi)容疊加在AR目標(biāo)物體上進(jìn)行顯示，在終端屏幕上同時(shí)顯示AR目標(biāo)物體和AR虛擬內(nèi)容以供用戶進(jìn)行交互。

目前在AR處理技術(shù)中，不但能對(duì)一幀或者一副靜態(tài)的圖像上疊加虛擬的內(nèi)容，而且也可以在已經(jīng)錄制的視頻上疊加虛擬內(nèi)容。

在現(xiàn)有技術(shù)中，將錄制的視頻上疊加虛擬內(nèi)容一般是先錄制一段視頻，然后再將需要疊加的虛擬內(nèi)容疊加到錄制好的視頻中，通過后期制作的方式將虛擬內(nèi)容疊加到錄制好的視頻中，然后再呈現(xiàn)給用戶，但無法實(shí)現(xiàn)在錄制的過程中實(shí)時(shí)疊加虛擬內(nèi)同。

因此，在目前的視頻AR處理技術(shù)中，視頻錄制者并不清楚虛擬內(nèi)容的呈現(xiàn)形式、出現(xiàn)時(shí)間、動(dòng)作節(jié)奏，因此錄制的視頻很難跟虛擬內(nèi)容有機(jī)的結(jié)合并實(shí)現(xiàn)互動(dòng)。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時(shí)錄制方法及錄制設(shè)備，將目標(biāo)物體的環(huán)境內(nèi)容與虛擬內(nèi)容疊加后，不僅能實(shí)現(xiàn)實(shí)時(shí)錄制，而且還能將疊加后的內(nèi)容實(shí)時(shí)顯示在顯示單元上，不但能實(shí)現(xiàn)將虛擬內(nèi)容和錄制視頻有機(jī)結(jié)合，并且還能實(shí)現(xiàn)與虛擬內(nèi)容進(jìn)行互動(dòng)。

本發(fā)明實(shí)施例提供了一種錄制設(shè)備，包括AR引擎和3D引擎，其中：

所述AR引擎，用于接收?qǐng)D像信息，識(shí)別所述圖像信息中的目標(biāo)物體，并提取所述目標(biāo)物體的屬性信息，將所述目標(biāo)物體的屬性信息和所述目標(biāo)物體所處的環(huán)境內(nèi)容發(fā)送給所述3D引擎，所述環(huán)境內(nèi)容包括所述目標(biāo)物體所處的環(huán)境信息；

所述3D引擎，用于接收所述AR引擎發(fā)送的目標(biāo)物體的屬性信息和環(huán)境內(nèi)容，并根據(jù)所述目標(biāo)物體的屬性信息確定所述目標(biāo)物體所對(duì)應(yīng)的虛擬內(nèi)容，所述3D引擎使用空白的中間態(tài)離屏圖像作為繪制目標(biāo)，將所述繪制目標(biāo)上疊加環(huán)境內(nèi)容的圖像信息和虛擬內(nèi)容的圖像信息，完成對(duì)所述中間態(tài)離屏圖像的渲染，形成交互內(nèi)容，以使所述交互內(nèi)容能被合成為圖像，將所述交互內(nèi)容與所述虛擬內(nèi)容中不需要錄制的內(nèi)容疊加后通過顯示單元顯示出來；所述共享的模式包括使用ShareContext共享兩端的繪制目標(biāo)，或者EglImage共享兩端的繪制目標(biāo)。

優(yōu)選地，所述3D引擎具體用于：

在第一繪制目標(biāo)上繪制環(huán)境內(nèi)容的圖像信息，在第二繪制目標(biāo)繪制虛擬內(nèi)容中需要錄制的內(nèi)容的圖像信息，然后將所述第一繪制目標(biāo)和第二繪制目標(biāo)疊加，完成對(duì)所述中間態(tài)離屏圖像的渲染；或者

在同一個(gè)繪制目標(biāo)上先繪制所述環(huán)境內(nèi)容的圖像信息，再繪制所述虛擬內(nèi)容中需要錄制的內(nèi)容的圖像信息，完成對(duì)所述中間態(tài)離屏圖像的渲染；或者