[發(fā)明專利]視頻分類方法及裝置、存儲介質(zhì)、電子裝置

在審

• 申請?zhí)枺?/td>: 202210361945.0
• 申請日: 2022-04-07
• 公開（公告）號: CN114639062A
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計）人: 彭垚;王強;林亦寧
• 申請（專利權(quán)）人: 上海閃馬智能科技有限公司;杭州閃馬智擎科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06N3/04;G06N3/08
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙靜

1.一種視頻分類方法，其特征在于，包括：

從目標(biāo)視頻的N幀圖像中確定每幀圖像中包括的對象之間的位置關(guān)系，確定N組位置關(guān)系，其中，所述N是大于1的自然數(shù)；

確定所述N幀圖像之間的時序關(guān)系；

按照所述N幀圖像之間的時序關(guān)系和所述N組位置關(guān)系確定目標(biāo)序列；

將所述目標(biāo)序列輸入預(yù)先訓(xùn)練好的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中，得到所述目標(biāo)視頻的分類結(jié)果，其中，所述分類結(jié)果用于表示所述目標(biāo)視頻中是否包括異常事件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，從目標(biāo)視頻的N幀圖像中確定每幀圖像中包括的對象之間的位置關(guān)系，確定N組位置關(guān)系，包括：

針對所述N幀圖像中的每幀圖像，均執(zhí)行以下操作，確定N組位置關(guān)系：

識別所述圖像中包括的目標(biāo)對象，其中，所述目標(biāo)對象為所述圖像中包括的目標(biāo)類型的對象，所述目標(biāo)對象的數(shù)量為多個，所述目標(biāo)類型的數(shù)量為一個或多個；

確定所述目標(biāo)對象中包括的每個目標(biāo)對象在所述圖像中的坐標(biāo)信息；

按照每個所述目標(biāo)對象的坐標(biāo)信息，連接所述目標(biāo)對象中包括的任意兩個目標(biāo)對象，確定所述圖像中包括的每個所述目標(biāo)對象之間的位置關(guān)系，得到一組位置關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，按照每個所述目標(biāo)對象的坐標(biāo)信息，連接所述目標(biāo)對象中包括的任意兩個目標(biāo)對象，確定所述圖像中包括的每個所述目標(biāo)對象之間的位置關(guān)系，得到一組位置關(guān)系，包括：

從每個所述目標(biāo)對象的坐標(biāo)信息中，確定所述每個所述目標(biāo)對象的相鄰對象；

利用邊線連接每個所述目標(biāo)對象和所述相鄰對象；

在所述邊線上標(biāo)注每個所述目標(biāo)對象和所述相鄰對象之間的距離，以確定所述圖像中包括的每個所述目標(biāo)對象之間的位置關(guān)系，得到一組位置關(guān)系。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定所述N幀圖像之間的時序關(guān)系，包括：

按照所述N幀圖像的拍攝時間確定所述N幀圖像之間的時序關(guān)系。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，按照所述N幀圖像之間的時序關(guān)系和所述N組位置關(guān)系確定目標(biāo)序列，包括：

按照所述N幀圖像之間的時序關(guān)系排列所述N組位置關(guān)系，確定所述目標(biāo)序列。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述目標(biāo)序列輸入預(yù)先訓(xùn)練好的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中，得到所述目標(biāo)視頻的分類結(jié)果，包括：

將所述目標(biāo)序列輸入所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中的K個卷積層，得到輸出的目標(biāo)圖像的特征，其中，所述K是大于或等于1的自然數(shù)；

將所述目標(biāo)圖像的特征輸入到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)中的M個全連接層中，得到所述目標(biāo)視頻的分類結(jié)果，其中，所述M是大于或等于1的自然數(shù)。

7.一種視頻分類裝置，其特征在于，包括：

第一確定模塊，用于從目標(biāo)視頻的N幀圖像中確定每幀圖像中包括的對象之間的位置關(guān)系，確定N組位置關(guān)系，其中，所述N是大于1的自然數(shù)；

第二確定模塊，用于確定所述N幀圖像之間的時序關(guān)系；

第三確定模塊，用于按照所述N幀圖像之間的時序關(guān)系和所述N組位置關(guān)系確定目標(biāo)序列；

第一輸入模塊，用于將所述目標(biāo)序列輸入預(yù)先訓(xùn)練好的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中，得到所述目標(biāo)視頻的分類結(jié)果，其中，所述分類結(jié)果用于表示所述目標(biāo)視頻中是否包括異常事件。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第一確定模塊，包括：

第一確定單元，用于針對所述N幀圖像中的每幀圖像，均執(zhí)行以下操作，確定N組位置關(guān)系：

第一識別單元，用于識別所述圖像中包括的目標(biāo)對象，其中，所述目標(biāo)對象為所述圖像中包括的目標(biāo)類型的對象，所述目標(biāo)對象的數(shù)量為多個，所述目標(biāo)類型的數(shù)量為一個或多個；

第二確定單元，用于確定所述目標(biāo)對象中包括的每個目標(biāo)對象在所述圖像中的坐標(biāo)信息；

第三確定單元，用于按照每個所述目標(biāo)對象的坐標(biāo)信息，連接所述目標(biāo)對象中包括的任意兩個目標(biāo)對象，確定所述圖像中包括的每個所述目標(biāo)對象之間的位置關(guān)系，得到一組位置關(guān)系。