[發(fā)明專(zhuān)利]視頻數(shù)據(jù)增廣方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110172710.2
• 申請(qǐng)日: 2021-02-08
• 公開(kāi)（公告）號(hào): CN112966723B
• 公開(kāi)（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 王世鵬;黃軍;程軍;胡曉光
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06V10/774
• 分類(lèi)號(hào): G06V10/774;G06V20/40;G06K9/62
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 谷春靜

1.一種視頻數(shù)據(jù)增廣方法，包括：

在模型訓(xùn)練過(guò)程中，針對(duì)任一訓(xùn)練批次內(nèi)的M個(gè)視頻數(shù)據(jù)，M為大于一的正整數(shù)，分別進(jìn)行以下處理：

利用原始順序的所述M個(gè)視頻數(shù)據(jù)組成第一視頻序列；

對(duì)所述第一視頻序列中的M個(gè)視頻數(shù)據(jù)進(jìn)行隨機(jī)排序，得到第二視頻序列；

分別將所述第一視頻序列中的各視頻數(shù)據(jù)與所述第二視頻序列中的對(duì)應(yīng)視頻數(shù)據(jù)進(jìn)行混合，得到M個(gè)混合視頻數(shù)據(jù)，用于進(jìn)行模型訓(xùn)練；

針對(duì)任一混合視頻數(shù)據(jù)，分別進(jìn)行以下處理：

獲取所述混合視頻數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)輸出；

根據(jù)所述混合視頻數(shù)據(jù)對(duì)應(yīng)的第一視頻數(shù)據(jù)的標(biāo)簽及所述預(yù)測(cè)輸出確定出第一損失；

根據(jù)所述混合視頻數(shù)據(jù)對(duì)應(yīng)的第二視頻數(shù)據(jù)的標(biāo)簽及所述預(yù)測(cè)輸出確定出第二損失；

根據(jù)所述第一損失及所述第二損失確定出所述混合視頻數(shù)據(jù)對(duì)應(yīng)的第三損失，以便利用所述第三損失進(jìn)行模型訓(xùn)練；

其中，所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)為混合得到所述混合視頻數(shù)據(jù)的兩個(gè)視頻數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述進(jìn)行混合包括：

按照混合mixup方式進(jìn)行混合；

或者，按照裁剪混合cutmix方式進(jìn)行混合。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

在將任意兩個(gè)視頻數(shù)據(jù)進(jìn)行混合之前，若確定兩個(gè)視頻數(shù)據(jù)的視頻長(zhǎng)度不一致，則將兩個(gè)視頻數(shù)據(jù)的視頻長(zhǎng)度調(diào)整為一致。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述將兩個(gè)視頻數(shù)據(jù)的視頻長(zhǎng)度調(diào)整為一致包括：

從兩個(gè)視頻數(shù)據(jù)中的第一視頻數(shù)據(jù)中抽取出前N幀，N為大于一的正整數(shù)，利用抽取出的N幀組成調(diào)整后的第一視頻數(shù)據(jù)；從兩個(gè)視頻數(shù)據(jù)中的第二視頻數(shù)據(jù)中抽取出前N幀，利用抽取出的N幀組成調(diào)整后的第二視頻數(shù)據(jù)；

或者，按預(yù)定采樣頻率從所述第一視頻數(shù)據(jù)中抽取出P幀，P為大于一的正整數(shù)，利用抽取出的P幀組成調(diào)整后的第一視頻數(shù)據(jù)；按預(yù)定采樣頻率從所述第二視頻數(shù)據(jù)中抽取出P幀，利用抽取出的P幀組成調(diào)整后的第二視頻數(shù)據(jù)。

5.一種視頻數(shù)據(jù)增廣裝置，包括：第一獲取模塊、第二獲取模塊以及混合模塊；

所述第一獲取模塊，用于在模型訓(xùn)練過(guò)程中，針對(duì)任一訓(xùn)練批次內(nèi)的M個(gè)視頻數(shù)據(jù)，M為大于一的正整數(shù)，利用原始順序的所述M個(gè)視頻數(shù)據(jù)組成第一視頻序列；

所述第二獲取模塊，用于對(duì)所述第一視頻序列中的M個(gè)視頻數(shù)據(jù)進(jìn)行隨機(jī)排序，得到第二視頻序列；

所述混合模塊，用于分別將所述第一視頻序列中的各視頻數(shù)據(jù)與所述第二視頻序列中的對(duì)應(yīng)視頻數(shù)據(jù)進(jìn)行混合，得到M個(gè)混合視頻數(shù)據(jù)，用于進(jìn)行模型訓(xùn)練；

所述混合模塊進(jìn)一步用于，針對(duì)任一混合視頻數(shù)據(jù)，分別進(jìn)行以下處理：獲取所述混合視頻數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)輸出；根據(jù)所述混合視頻數(shù)據(jù)對(duì)應(yīng)的第一視頻數(shù)據(jù)的標(biāo)簽及所述預(yù)測(cè)輸出確定出第一損失；根據(jù)所述混合視頻數(shù)據(jù)對(duì)應(yīng)的第二視頻數(shù)據(jù)的標(biāo)簽及所述預(yù)測(cè)輸出確定出第二損失；根據(jù)所述第一損失及所述第二損失確定出所述混合視頻數(shù)據(jù)對(duì)應(yīng)的第三損失，以便利用所述第三損失進(jìn)行模型訓(xùn)練；其中，所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)為混合得到所述混合視頻數(shù)據(jù)的兩個(gè)視頻數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的裝置，其中，

所述混合模塊按照混合mixup方式進(jìn)行混合，或者，按照裁剪混合cutmix方式進(jìn)行混合。

7.根據(jù)權(quán)利要求5所述的裝置，其中，

所述混合模塊進(jìn)一步用于，在將任意兩個(gè)視頻數(shù)據(jù)進(jìn)行混合之前，若確定兩個(gè)視頻數(shù)據(jù)的視頻長(zhǎng)度不一致，則將兩個(gè)視頻數(shù)據(jù)的視頻長(zhǎng)度調(diào)整為一致。