[發(fā)明專利]三維虛擬特效的生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110198019.1
• 申請(qǐng)日: 2021-02-22
• 公開（公告）號(hào): CN112927349A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 侯欣如;姜翰青;劉文韜;焦飛;馮友計(jì);歐華富;王鼎祿
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T19/00;G06K9/46;G06N3/04
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

1.一種三維虛擬特效的生成方法，其特征在于，包括：

獲取對(duì)目標(biāo)運(yùn)動(dòng)場(chǎng)館進(jìn)行采集得到的目標(biāo)圖像；

基于所述目標(biāo)圖像，生成與所述目標(biāo)運(yùn)動(dòng)場(chǎng)館匹配的三維場(chǎng)館模型，其中，所述三維場(chǎng)館模型包括所述目標(biāo)運(yùn)動(dòng)場(chǎng)館中至少一個(gè)功能區(qū)域的特征數(shù)據(jù)，每個(gè)所述功能區(qū)域的特征數(shù)據(jù)分別標(biāo)識(shí)有對(duì)應(yīng)所述功能區(qū)域的類別標(biāo)注信息；

基于所述至少一個(gè)功能區(qū)域分別對(duì)應(yīng)的所述類別標(biāo)注信息，為所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的至少一個(gè)功能區(qū)域匹配虛擬特效，得到所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的三維虛擬特效。

2.根據(jù)權(quán)利要求1所述的生成方法，其特征在于，所述基于所述目標(biāo)圖像，生成與所述目標(biāo)運(yùn)動(dòng)場(chǎng)館匹配的三維場(chǎng)館模型，包括：

對(duì)所述目標(biāo)圖像進(jìn)行特征點(diǎn)提取，得到所述目標(biāo)圖像中的特征點(diǎn)；

確定所述目標(biāo)圖像中特征點(diǎn)對(duì)應(yīng)的功能區(qū)域的類別標(biāo)注信息；

基于所述目標(biāo)圖像、以及所述特征點(diǎn)對(duì)應(yīng)的功能區(qū)域的類別標(biāo)注信息，生成所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的三維場(chǎng)館模型。

3.根據(jù)權(quán)利要求1或2所述的生成方法，其特征在于，所述確定所述目標(biāo)圖像中特征點(diǎn)對(duì)應(yīng)的功能區(qū)域的類別標(biāo)注信息，包括：

基于所述特征點(diǎn)與所述目標(biāo)圖像中像素點(diǎn)之間的映射關(guān)系、以及對(duì)所述目標(biāo)圖像中對(duì)各所述功能區(qū)域的原始標(biāo)注信息，得到所述目標(biāo)圖像中各特征點(diǎn)分別對(duì)應(yīng)的功能區(qū)域的類別標(biāo)注信息。

4.根據(jù)權(quán)利要求2所述的生成方法，其特征在于，所述三維場(chǎng)館模型中每個(gè)所述功能區(qū)域的特征數(shù)據(jù)包括每個(gè)所述功能區(qū)域的點(diǎn)云點(diǎn)的數(shù)據(jù)；

所述基于所述目標(biāo)圖像、以及所述特征點(diǎn)對(duì)應(yīng)的功能區(qū)域的類別標(biāo)注信息，生成所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的三維場(chǎng)館模型，包括：

基于所述目標(biāo)圖像，對(duì)所述目標(biāo)運(yùn)動(dòng)場(chǎng)館進(jìn)行三維重建，得到在同一功能區(qū)域中與所述特征點(diǎn)對(duì)應(yīng)的點(diǎn)云點(diǎn)在三維場(chǎng)館模型中的坐標(biāo)值；以及，

基于所述特征點(diǎn)對(duì)應(yīng)的功能區(qū)域的類別標(biāo)注信息，確定在同一功能區(qū)域中與所述特征點(diǎn)對(duì)應(yīng)的點(diǎn)云點(diǎn)的類別標(biāo)注信息。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的生成方法，其特征在于，獲取所述目標(biāo)圖像，包括：

獲取位于所述目標(biāo)運(yùn)動(dòng)場(chǎng)館內(nèi)的多個(gè)功能區(qū)域的攝像頭采集的視頻流；

從各功能區(qū)域的所述視頻流中，選擇各功能區(qū)域在同一時(shí)間戳下采集的所述目標(biāo)圖像。

6.根據(jù)權(quán)利要求5所述的生成方法，其特征在于，所述從各功能區(qū)域的所述視頻流中，選擇各功能區(qū)域在同一時(shí)間戳下采集的所述目標(biāo)圖像，包括：

基于所述視頻流中各幀視頻幀圖像的時(shí)間戳，從各功能區(qū)域的所述視頻流中，獲取多個(gè)圖像組；其中，每個(gè)圖像組中包括在同一時(shí)間戳下采集的各功能區(qū)域的備選視頻幀圖像；

從所述多個(gè)圖像組中，確定備選視頻幀圖像均滿足預(yù)設(shè)圖像質(zhì)量條件的目標(biāo)圖像組，并將所述目標(biāo)圖像組中的備選視頻幀圖像確定為所述目標(biāo)圖像。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的生成方法，其特征在于，所述基于所述至少一個(gè)功能區(qū)域分別對(duì)應(yīng)的所述類別標(biāo)注信息，為所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的至少一個(gè)功能區(qū)域匹配虛擬特效，得到所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的三維虛擬特效，包括：

基于所述類別標(biāo)注信息所表征的區(qū)域類別、以及所述至少一個(gè)功能區(qū)域分別在所述三維場(chǎng)館模型中的坐標(biāo)值，為所述至少一個(gè)功能區(qū)域分別匹配與所述區(qū)域類別對(duì)應(yīng)的虛擬特效，生成所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的三維虛擬特效。

8.根據(jù)權(quán)利要求1-7任一項(xiàng)所述的生成方法，其特征在于，還包括：

在AR設(shè)備中展示所述目標(biāo)運(yùn)動(dòng)場(chǎng)館的三維虛擬特效；

響應(yīng)于對(duì)指定類型的三維虛擬特效的觸發(fā)操作，控制所述AR設(shè)備中展示調(diào)整所述指定類型的三維虛擬特效的展示效果。