[發(fā)明專利]虛擬對象處理方法及裝置、存儲介質(zhì)和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201910695983.8
• 申請日: 2019-07-30
• 公開（公告）號: CN110473293B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 康健
• 申請（專利權(quán)）人: OPPO廣東移動通信有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 深圳市聯(lián)鼎知識產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種虛擬對象處理方法，其特征在于，包括：

確定第一設(shè)備所處場景的特征點(diǎn)云，并利用所述特征點(diǎn)云檢測所述第一設(shè)備所處場景中的空間平面；

對所述場景中真實對象進(jìn)行檢測，以確定多個真實對象位置框；

針對所述多個真實對象位置框中的任意一個真實對象位置框，確定所述真實對象位置框的多個特征位置點(diǎn)；確定所述多個特征位置點(diǎn)在所述特征點(diǎn)云的坐標(biāo)系下的坐標(biāo)點(diǎn)以及法線方向；針對所述多個特征位置點(diǎn)在所述特征點(diǎn)云的坐標(biāo)系下的坐標(biāo)點(diǎn)，如果沿所述法線方向的投影均在同一空間平面上，則確定所述真實對象位置框為候選位置框，并將所述真實對象位置框添加至候選位置框集合；

響應(yīng)針對所述候選位置框集合中一目標(biāo)位置框的虛擬對象配置操作，確定虛擬對象在所述目標(biāo)位置框中的位置信息；

將所述虛擬對象的信息以及所述虛擬對象在所述目標(biāo)位置框中的位置信息發(fā)送給第二設(shè)備，以便在所述第二設(shè)備上顯示所述虛擬對象。

2.根據(jù)權(quán)利要求1所述的虛擬對象處理方法，其特征在于，確定第一設(shè)備所處場景的特征點(diǎn)云包括：

根據(jù)所述第一設(shè)備采集的多個視頻幀圖像以及對應(yīng)的慣性信息提取所述場景的特征點(diǎn)；

基于提取到的特征點(diǎn)構(gòu)建特征點(diǎn)云。

3.根據(jù)權(quán)利要求2所述的虛擬對象處理方法，其特征在于，對所述場景中真實對象進(jìn)行檢測，以確定多個真實對象位置框包括：

確定一目標(biāo)幀圖像，將所述目標(biāo)幀圖像輸入訓(xùn)練后的機(jī)器學(xué)習(xí)模型中，利用所述訓(xùn)練后的機(jī)器學(xué)習(xí)模型確定多個真實對象位置框。

4.根據(jù)權(quán)利要求1至3中任一項所述的虛擬對象處理方法，其特征在于，在確定虛擬對象在所述目標(biāo)位置框中的位置信息后，所述虛擬對象處理方法還包括：

基于所述虛擬對象在所述目標(biāo)位置框中的位置信息，確定所述虛擬對象在所述場景中的三維位置信息；

根據(jù)所述虛擬對象在所述場景中的三維位置信息在所述第一設(shè)備上顯示所述虛擬對象。

5.一種虛擬對象處理方法，其特征在于，包括：

確定第二設(shè)備所處場景的特征點(diǎn)云，并利用所述特征點(diǎn)云檢測第二設(shè)備所處場景中的空間平面；

對所述場景中真實對象進(jìn)行檢測，以確定多個真實對象位置框；

針對所述多個真實對象位置框中的任意一個真實對象位置框，確定所述真實對象位置框的多個特征位置點(diǎn)；確定所述多個特征位置點(diǎn)在所述特征點(diǎn)云的坐標(biāo)系下的坐標(biāo)點(diǎn)以及法線方向；針對所述多個特征位置點(diǎn)在所述特征點(diǎn)云的坐標(biāo)系下的坐標(biāo)點(diǎn)，如果沿所述法線方向的投影均在同一空間平面上，則確定所述真實對象位置框為候選位置框，并將所述真實對象位置框添加至候選位置框集合；

獲取由第一設(shè)備發(fā)送的虛擬對象的信息以及所述虛擬對象在所述第一設(shè)備的目標(biāo)位置框中的位置信息；

響應(yīng)一虛擬對象配置操作，從所述候選位置框集合中確定虛擬對象放置框；

基于所述虛擬對象在所述第一設(shè)備的目標(biāo)位置框中的位置信息，確定所述虛擬對象在所述虛擬對象放置框中的位置信息，以便在所述第二設(shè)備上顯示所述虛擬對象。

6.根據(jù)權(quán)利要求5所述的虛擬對象處理方法，其特征在于，確定第二設(shè)備所處場景的特征點(diǎn)云包括：

根據(jù)所述第二設(shè)備采集的多個視頻幀圖像以及對應(yīng)的慣性信息提取所述場景的特征點(diǎn)；

基于提取到的特征點(diǎn)構(gòu)建特征點(diǎn)云。

7.根據(jù)權(quán)利要求6所述的虛擬對象處理方法，其特征在于，對所述場景中真實對象進(jìn)行檢測，以確定多個真實對象位置框包括：

確定一目標(biāo)幀圖像，將所述目標(biāo)幀圖像輸入訓(xùn)練后的機(jī)器學(xué)習(xí)模型中，利用所述訓(xùn)練后的機(jī)器學(xué)習(xí)模型確定多個真實對象位置框。

8.根據(jù)權(quán)利要求5至7中任一項所述的虛擬對象處理方法，其特征在于，基于所述虛擬對象在所述第一設(shè)備的目標(biāo)位置框中的位置信息，確定所述虛擬對象在所述虛擬對象放置框中的位置信息包括：

確定所述目標(biāo)位置框與所述虛擬對象位置框的尺寸比例：

按所述尺寸比例對所述虛擬對象在所述第一設(shè)備的目標(biāo)位置框中的位置信息進(jìn)行縮放處理，并將縮放處理的結(jié)果確定為所述虛擬對象在所述虛擬對象放置框中的位置信息。