[發(fā)明專利]交互檢測(cè)模型的訓(xùn)練方法、交互檢測(cè)方法及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210596450.6
• 申請(qǐng)日: 2022-05-18
• 公開（公告）號(hào): CN114898272A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 蘇海昇;范弘煒
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V40/20;G06V10/82;G06V10/774;G06V10/764;G06V10/40;G06V10/22;G06T7/70;G06T7/11;G06N3/04
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

本申請(qǐng)公開了一種交互檢測(cè)模型的訓(xùn)練方法、交互檢測(cè)方法及相關(guān)設(shè)備，該方法包括：基于交互檢測(cè)模型的特征提取網(wǎng)絡(luò)對(duì)樣本視頻數(shù)據(jù)中樣本圖像進(jìn)行處理，得到樣本圖像中樣本人體的樣本人體特征；基于交互檢測(cè)模型的動(dòng)作分類網(wǎng)絡(luò)對(duì)樣本人體特征進(jìn)行分類，得到樣本人體的第一預(yù)測(cè)交互動(dòng)作；基于樣本物體的二維位置和樣本人體的形態(tài)參數(shù)進(jìn)行定位，得到樣本物體的三維位置；基于形態(tài)參數(shù)和三維位置進(jìn)行預(yù)測(cè)，得到樣本物體的預(yù)測(cè)分值；基于樣本交互動(dòng)作與第一預(yù)測(cè)交互動(dòng)作的差異，以及樣本分值與預(yù)測(cè)分值的差異，調(diào)整交互檢測(cè)模型的網(wǎng)絡(luò)參數(shù)。上述方案，能夠提高人物交互關(guān)系的檢測(cè)精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別是涉及一種交互檢測(cè)模型的訓(xùn)練方法、交互檢測(cè)方法及相關(guān)設(shè)備。

背景技術(shù)

時(shí)空人物關(guān)系檢測(cè)旨在檢測(cè)視頻中發(fā)生的人物交互關(guān)系，時(shí)空人物關(guān)系檢測(cè)對(duì)于視頻行為理解來說尤為重要。在日常的人物交互過程中，人可能會(huì)和周圍環(huán)境中存在的各種各樣的物體產(chǎn)生交互，例如，在做家務(wù)時(shí)可能會(huì)拿起或者觸碰數(shù)十種不同的家具。

目前，對(duì)時(shí)空人物關(guān)系檢測(cè)的方式通常只關(guān)注人本身的動(dòng)作，限制了人物交互關(guān)系檢測(cè)精度的提升。

發(fā)明內(nèi)容

本申請(qǐng)至少提供一種交互檢測(cè)模型的訓(xùn)練方法、交互檢測(cè)方法及相關(guān)設(shè)備。

本申請(qǐng)第一方面提供了一種交互檢測(cè)模型的訓(xùn)練方法，該方法包括：基于交互檢測(cè)模型的特征提取網(wǎng)絡(luò)對(duì)樣本視頻數(shù)據(jù)中樣本圖像進(jìn)行處理，得到樣本圖像中樣本人體的樣本人體特征；其中，樣本視頻數(shù)據(jù)標(biāo)注有表征樣本物體是否與樣本人體發(fā)生交互的樣本分值，以及與樣本物體發(fā)生交互的樣本人體的樣本交互動(dòng)作；基于交互檢測(cè)模型的動(dòng)作分類網(wǎng)絡(luò)對(duì)樣本人體特征進(jìn)行分類，得到樣本人體的第一預(yù)測(cè)交互動(dòng)作；基于樣本物體的二維位置和樣本人體的形態(tài)參數(shù)進(jìn)行定位，得到樣本物體的三維位置；其中，二維位置基于樣本人體特征定位得到；基于形態(tài)參數(shù)和三維位置進(jìn)行預(yù)測(cè)，得到樣本物體的預(yù)測(cè)分值；其中，預(yù)測(cè)分值表示樣本物體存在人物交互的可能性；基于樣本交互動(dòng)作與第一預(yù)測(cè)交互動(dòng)作的差異，以及樣本分值與預(yù)測(cè)分值的差異，調(diào)整交互檢測(cè)模型的網(wǎng)絡(luò)參數(shù)。

因此，基于樣本交互動(dòng)作與第一預(yù)測(cè)交互動(dòng)作的差異，以及樣本分值與預(yù)測(cè)分值的差異，調(diào)整交互檢測(cè)模型的網(wǎng)絡(luò)參數(shù)。故，一方面，使得表示樣本物體存在人物交互的可能性的預(yù)測(cè)分值逼近表征樣本物體是否與樣本人體發(fā)生交互的樣本分值，由于預(yù)測(cè)分值是基于樣本物體的三維位置預(yù)測(cè)得到，所以使得定位得到的樣本物體的三維位置逼近樣本物體的真實(shí)三維位置，即驅(qū)使對(duì)樣本物體的定位盡可能精確，而對(duì)樣本物體的定位是基于樣本人體特征實(shí)現(xiàn)的，從而可從定位層面迫使交互檢測(cè)模型盡可能提取與人體的交互動(dòng)作緊密相關(guān)的人體特征，即可從定位層面迫使交互檢測(cè)模型提取的人體特征盡可能準(zhǔn)確；另一方面，使得第一預(yù)測(cè)交互動(dòng)作逼近樣本交互動(dòng)作，而第一預(yù)測(cè)交互動(dòng)作是基于人體特征預(yù)測(cè)得到的，從而可從分類層面迫使交互檢測(cè)模型盡可能提取與人體的交互動(dòng)作緊密相關(guān)的人體特征，即可從分類層面迫使交互檢測(cè)模型的提取的人體特征盡可能準(zhǔn)確。所以，從定位層面和分類層面兩個(gè)維度對(duì)交互檢測(cè)模型進(jìn)行優(yōu)化，使得后續(xù)交互檢測(cè)模型在對(duì)人體的交互動(dòng)作進(jìn)行分類檢測(cè)時(shí)，能夠同時(shí)關(guān)注人體本身的動(dòng)作和與人體存在人物交互的交互物體的位置信息，從而使交互檢測(cè)模型能夠提取與人體交互動(dòng)作緊密相關(guān)的人體特征即交互檢測(cè)模型能夠準(zhǔn)確提取人體特征，進(jìn)而提高交互檢測(cè)模型對(duì)人物交互關(guān)系的檢測(cè)精度，減少了長(zhǎng)尾關(guān)系分布下的誤檢。

其中，基于樣本人體特征定位得到二維位置，包括：基于樣本人體特征和樣本物體的樣本物體特征共同定位得到樣本物體的二維位置。

因此，可通過樣本人體特征和樣本物體的樣本物體特征定位得到樣本物體的二維位置，從而能夠通過樣本物體特征輔助樣本人體特征進(jìn)行樣本物體的二維定位，有利于提升二維定位的精度。