[發(fā)明專利]針對(duì)目標(biāo)對(duì)象的視覺(jué)跟蹤方法、裝置、系統(tǒng)、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310430961.5
• 申請(qǐng)日: 2023-04-20
• 公開（公告）號(hào): CN116523962A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 李龍騰;盧飛翔;呂以豪;張良俊
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T1/00
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 呂朝蕙

1.一種針對(duì)目標(biāo)對(duì)象的視覺(jué)跟蹤方法，包括：

根據(jù)事件相機(jī)采集的事件數(shù)據(jù)，確定執(zhí)行體操類運(yùn)動(dòng)的目標(biāo)對(duì)象的運(yùn)動(dòng)信息；

響應(yīng)于根據(jù)所述運(yùn)動(dòng)信息確定所述目標(biāo)對(duì)象的運(yùn)動(dòng)滿足視覺(jué)跟蹤條件，獲取針對(duì)所述目標(biāo)對(duì)象在至少兩個(gè)視角下同步采集的視頻數(shù)據(jù)；以及

根據(jù)所述視頻數(shù)據(jù)，生成描述所述目標(biāo)對(duì)象所執(zhí)行的體操類運(yùn)動(dòng)的待播放數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

對(duì)所述視頻數(shù)據(jù)中的目標(biāo)對(duì)象進(jìn)行姿態(tài)識(shí)別，得到所述待播放數(shù)據(jù)所描述的體操類運(yùn)動(dòng)的動(dòng)作信息；以及

將所述動(dòng)作信息和所述待播放數(shù)據(jù)關(guān)聯(lián)地存儲(chǔ)。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述對(duì)所述視頻數(shù)據(jù)中的目標(biāo)對(duì)象進(jìn)行姿態(tài)識(shí)別，得到所述待播放數(shù)據(jù)所描述的體操類運(yùn)動(dòng)的動(dòng)作信息包括：

根據(jù)所述視頻數(shù)據(jù)中在所述至少兩個(gè)視角下同步采集的各時(shí)間點(diǎn)的視頻幀，確定所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的三維關(guān)鍵點(diǎn)信息；以及

根據(jù)所述三維關(guān)鍵點(diǎn)信息，確定所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的姿態(tài)信息；以及

根據(jù)所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的姿態(tài)信息，確定所述動(dòng)作信息。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的姿態(tài)信息，確定所述動(dòng)作信息包括：

根據(jù)所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的姿態(tài)信息，確定所述目標(biāo)對(duì)象執(zhí)行的體操類運(yùn)動(dòng)中包括的至少一個(gè)動(dòng)作；

針對(duì)所述至少一個(gè)動(dòng)作中的每個(gè)動(dòng)作，確定所述視頻數(shù)據(jù)中與每個(gè)動(dòng)作對(duì)應(yīng)的視頻片段；以及

根據(jù)所述目標(biāo)對(duì)象在采集所述視頻片段的各時(shí)間點(diǎn)的姿態(tài)信息，確定所述每個(gè)動(dòng)作的動(dòng)作信息。

5.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述視頻數(shù)據(jù)中在所述至少兩個(gè)視角下同步采集的各時(shí)間點(diǎn)的視頻幀，確定所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的三維關(guān)鍵點(diǎn)信息包括：

對(duì)每個(gè)視角下各時(shí)間點(diǎn)的視頻幀進(jìn)行姿態(tài)識(shí)別，得到所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)針對(duì)所述每個(gè)視角的三維關(guān)鍵點(diǎn)信息，作為針對(duì)所述每個(gè)視角的初始關(guān)鍵點(diǎn)信息；

對(duì)在所述各時(shí)間點(diǎn)針對(duì)所述至少兩個(gè)視角的至少兩個(gè)三維關(guān)鍵點(diǎn)信息進(jìn)行融合，得到融合關(guān)鍵點(diǎn)信息；以及

根據(jù)所述融合關(guān)鍵點(diǎn)信息，確定所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的三維關(guān)鍵點(diǎn)信息。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述根據(jù)所述融合關(guān)鍵點(diǎn)信息，確定所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的三維關(guān)鍵點(diǎn)信息包括：

獲取深度相機(jī)在所述各時(shí)間點(diǎn)采集的點(diǎn)云數(shù)據(jù)，作為參考點(diǎn)云數(shù)據(jù)；以及

根據(jù)所述參考點(diǎn)云數(shù)據(jù)對(duì)所述融合關(guān)鍵點(diǎn)信息進(jìn)行校正，得到所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的三維關(guān)鍵點(diǎn)信息，

其中，所述深度相機(jī)設(shè)置于所述至少兩個(gè)視角中的目標(biāo)視角所對(duì)應(yīng)的位置處；所述目標(biāo)視角為所述至少兩個(gè)視角中的任一視角。

7.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述視頻數(shù)據(jù)中在所述至少兩個(gè)視角下同步采集的各時(shí)間點(diǎn)的視頻幀，確定所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的三維關(guān)鍵點(diǎn)信息包括：

根據(jù)在所述至少兩個(gè)視角下同步采集的各時(shí)間點(diǎn)的視頻幀，生成所述各時(shí)間點(diǎn)的點(diǎn)云數(shù)據(jù)；

根據(jù)所述事件相機(jī)在所述各時(shí)間點(diǎn)采集的事件數(shù)據(jù)，生成針對(duì)所述點(diǎn)云數(shù)據(jù)的權(quán)重?cái)?shù)據(jù)；以及

根據(jù)所述權(quán)重?cái)?shù)據(jù)和所述點(diǎn)云數(shù)據(jù)，確定所述目標(biāo)對(duì)象在所述各時(shí)間點(diǎn)的三維關(guān)鍵點(diǎn)信息。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述至少兩個(gè)視角的數(shù)量為N；所述根據(jù)在所述至少兩個(gè)視角下同步采集的各時(shí)間點(diǎn)的視頻幀，生成所述各時(shí)間點(diǎn)的點(diǎn)云數(shù)據(jù)包括：

針對(duì)所述各時(shí)間點(diǎn)，根據(jù)在所述至少兩個(gè)視角中的目標(biāo)視角下的視頻幀與所述至少兩個(gè)視角中除所述目標(biāo)視角外的每一個(gè)視角下的視頻幀，生成一組初始點(diǎn)云數(shù)據(jù)；以及

對(duì)生成的(N-1)組初始點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)，得到所述各時(shí)間點(diǎn)的點(diǎn)云數(shù)據(jù)，

其中，所述目標(biāo)視角為所述至少兩個(gè)視角中的任一視角，N為大于1的自然數(shù)。