[發(fā)明專利]目標(biāo)檢測(cè)模型的訓(xùn)練、目標(biāo)檢測(cè)方法、裝置以及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210788464.8
• 申請(qǐng)日: 2022-07-06
• 公開（公告）號(hào): CN115082830A
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 曹瓊;石鼎豐;陶大程
• 申請(qǐng)（專利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 中國(guó)貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 方亮;許蓓

1.一種目標(biāo)檢測(cè)模型的訓(xùn)練方法，其中，目標(biāo)檢測(cè)模型包括：編碼器模塊和解碼器模塊；所述訓(xùn)練方法包括：

獲取與視頻樣本相對(duì)應(yīng)的增強(qiáng)樣本，基于所述視頻樣本和所述增強(qiáng)樣本生成訓(xùn)練樣本；

使用編碼器模塊并基于與所述訓(xùn)練樣本相對(duì)應(yīng)的視頻特征信息，生成查詢特征信息，并構(gòu)建與所述增強(qiáng)樣本相對(duì)應(yīng)的第一損失函數(shù)；

使用解碼器模塊并基于所述查詢特征信息，生成與所述視頻樣本相對(duì)應(yīng)的第一分類置信度信息和用于表征目標(biāo)位置的回歸信息、與所述增強(qiáng)樣本相對(duì)應(yīng)的第二分類置信度信息，并構(gòu)建與所述訓(xùn)練樣本相對(duì)應(yīng)的第二損失函數(shù)；

使用所述第一損失函數(shù)和所述第二損失函數(shù)，對(duì)所述目標(biāo)檢測(cè)模型進(jìn)行調(diào)整處理。

2.如權(quán)利要求1所述的方法，其中，所述增強(qiáng)樣本包括：與所述視頻樣本相對(duì)應(yīng)的正樣本和負(fù)樣本；所述構(gòu)建與所述增強(qiáng)樣本相對(duì)應(yīng)的第一損失函數(shù)包括：

基于所述視頻特征信息獲取與所述正樣本和所述負(fù)樣本相對(duì)應(yīng)的片段特征信息；

根據(jù)所述片段特征信息生成第一損失函數(shù)。

3.如權(quán)利要求2所述的方法，其中，所述編碼器模塊包括：全連接層和感興趣區(qū)域池化RoIPooling層；所述基于所述視頻特征信息獲取與所述正樣本和所述負(fù)樣本相對(duì)應(yīng)的片段特征信息包括：

通過(guò)所述全連接層對(duì)所述視頻特征信息進(jìn)行處理，獲取與所述視頻特征信息相對(duì)應(yīng)的全連接特征；

通過(guò)所述RoIPooling層對(duì)所述全連接信息進(jìn)行特征提取處理，獲取所述片段特征信息。

4.如權(quán)利要求2所述的方法，所述根據(jù)所述片段特征信息生成第一損失函數(shù)包括：

在所述片段信息中獲取與所述視頻樣本相對(duì)應(yīng)的第一片段特征、與所述正樣本相對(duì)應(yīng)的第二片段特征；

基于所述第一片段特征和所述第二片段特征，確定第一樣本特征；

在所述片段信息中獲取與所述負(fù)樣本相對(duì)應(yīng)的第三片段特征；

基于所述第一片段特征、所述第二片段特征和所述第三片段特征，確定第二樣本特征；

根據(jù)所述第一樣本特征和所述第二樣本特征，生成所述第一損失函數(shù)。

5.如權(quán)利要求2所述的方法，所述構(gòu)建與所述訓(xùn)練樣本相對(duì)應(yīng)的第二損失函數(shù)包括：

確定與所述第一分類置信度信息相對(duì)應(yīng)的第一分類損失函數(shù)；

確定與所述第二分類置信度信息相對(duì)應(yīng)的第二分類損失函數(shù)；

基于所述第二分類損失函數(shù)和所述第二分類損失函數(shù)，生成所述第二損失函數(shù)。

6.如權(quán)利要求5所述的方法，所述第一分類損失函數(shù)包括：第一交叉熵?fù)p失函數(shù)；所述第二分類損失函數(shù)包括：第二交叉熵?fù)p失函數(shù)；所述基于所述第二分類損失函數(shù)和所述第二分類損失函數(shù)，生成所述第二損失函數(shù)包括：

將所述第一交叉熵?fù)p失函數(shù)和所述第二交叉熵?fù)p失函數(shù)之和，作為所述第二損失函數(shù)。

7.如權(quán)利要求2所述的方法，還包括：

確定所述視頻樣本的第一動(dòng)作類型標(biāo)簽；

基于所述第一動(dòng)作類型標(biāo)簽，從其它視頻中獲取與所述視頻樣本相對(duì)應(yīng)的所述正樣本；其中，所述正樣本的第二動(dòng)作類型標(biāo)簽與所述第一動(dòng)作類型標(biāo)簽相同。

8.如權(quán)利要求2所述的方法，包括：

基于所述第一動(dòng)作類型標(biāo)簽，從其它視頻中獲取與所述視頻樣本相對(duì)應(yīng)的所述負(fù)樣本；其中，所述正樣本的第二動(dòng)作類型標(biāo)簽與所述第一動(dòng)作類型標(biāo)簽不同。

9.如權(quán)利要求2所述的方法，包括：

確定與所述第一動(dòng)作類型標(biāo)簽相對(duì)應(yīng)的第一視頻片段；

基于所述第一視頻片段從所述視頻樣本中提取視頻片段，作為所述負(fù)樣本；其中，所述第一視頻片段和所述第二視頻片段的重合長(zhǎng)度與長(zhǎng)度和之比，小于預(yù)設(shè)的交并比閾值。

10.如權(quán)利要求1所述的方法，包括：

使用預(yù)設(shè)的骨干網(wǎng)絡(luò)對(duì)所述訓(xùn)練樣本進(jìn)行處理，生成所述視頻特征信息；其中，所述骨干網(wǎng)絡(luò)包括：神經(jīng)網(wǎng)絡(luò)模型。