[發(fā)明專利]視頻場(chǎng)景識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010096738.8
• 申請(qǐng)日: 2020-02-17
• 公開（公告）號(hào): CN111291692B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 趙璐;李琳
• 申請(qǐng)（專利權(quán)）人: 咪咕文化科技有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 鄭朝然

本發(fā)明實(shí)施例提供一種視頻場(chǎng)景識(shí)別方法、電子設(shè)備及存儲(chǔ)介質(zhì)。視頻場(chǎng)景識(shí)別方法，包括：將待識(shí)別場(chǎng)景的目標(biāo)視頻輸入至目標(biāo)神經(jīng)網(wǎng)絡(luò)中，目標(biāo)神經(jīng)網(wǎng)絡(luò)包括第一層結(jié)構(gòu)和第二層結(jié)構(gòu)，第一層結(jié)構(gòu)用于根據(jù)目標(biāo)視頻確定關(guān)鍵人物的位置熱力圖像，關(guān)鍵人物在目標(biāo)視頻中的動(dòng)作表征目標(biāo)視頻的候選識(shí)別場(chǎng)景類型；第二層結(jié)構(gòu)用于根據(jù)目標(biāo)視頻以及關(guān)鍵人物的位置熱力圖像從候選識(shí)別場(chǎng)景類型中確定目標(biāo)識(shí)別場(chǎng)景特征類型；根據(jù)目標(biāo)神經(jīng)網(wǎng)絡(luò)輸出的目標(biāo)識(shí)別場(chǎng)景類型，對(duì)視頻進(jìn)行場(chǎng)景識(shí)別。本發(fā)明實(shí)施例提供的視頻場(chǎng)景識(shí)別方法，由于目標(biāo)神經(jīng)網(wǎng)絡(luò)可以結(jié)合局部特征以及全局信息，對(duì)于視頻中包括多人活動(dòng)的情況，可以識(shí)別該視頻的二級(jí)場(chǎng)景。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻技術(shù)領(lǐng)域，尤其涉及一種視頻場(chǎng)景識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在視頻的分類過(guò)程中，需要使用到視頻識(shí)別方法，以確定視頻場(chǎng)景，視頻場(chǎng)景可以在一定程度上表征該視頻所表達(dá)的內(nèi)容，比如當(dāng)前視頻是關(guān)于足球的點(diǎn)球場(chǎng)景的視頻、還是關(guān)于足球的角球場(chǎng)景的視頻，其中足球場(chǎng)景為該視頻的一級(jí)場(chǎng)景，足球場(chǎng)景中的點(diǎn)球場(chǎng)景和角球場(chǎng)景為該視頻的二級(jí)場(chǎng)景。

現(xiàn)有技術(shù)中的識(shí)別方法多關(guān)注于視頻的一級(jí)場(chǎng)景識(shí)別，即僅可識(shí)別出該視頻的一級(jí)場(chǎng)景，比如識(shí)別出該視頻是關(guān)于籃球比賽的場(chǎng)景、足球比賽的場(chǎng)景或是排球比賽的場(chǎng)景，但是難以對(duì)該視頻進(jìn)行二級(jí)場(chǎng)景識(shí)別，比如難以對(duì)某籃球比賽的視頻場(chǎng)景的二級(jí)場(chǎng)景例如扣籃場(chǎng)景、搶斷場(chǎng)景或蓋帽場(chǎng)景等進(jìn)行識(shí)別。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種視頻場(chǎng)景識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)難以用于視頻中包括多人活動(dòng)的二級(jí)場(chǎng)景識(shí)別問(wèn)題。

一方面，本發(fā)明實(shí)施例提供一種視頻場(chǎng)景識(shí)別方法，包括：將待識(shí)別場(chǎng)景的目標(biāo)視頻輸入至目標(biāo)神經(jīng)網(wǎng)絡(luò)中，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)包括第一層結(jié)構(gòu)和第二層結(jié)構(gòu)，所述第一層結(jié)構(gòu)用于根據(jù)所述目標(biāo)視頻確定關(guān)鍵人物的位置熱力圖像，所述關(guān)鍵人物在所述目標(biāo)視頻中的動(dòng)作表征所述目標(biāo)視頻的候選識(shí)別場(chǎng)景類型；所述第二層結(jié)構(gòu)用于根據(jù)所述目標(biāo)視頻以及所述關(guān)鍵人物的位置熱力圖像從所述候選識(shí)別場(chǎng)景類型中確定目標(biāo)識(shí)別場(chǎng)景特征類型；根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)輸出的所述目標(biāo)識(shí)別場(chǎng)景類型，對(duì)所述視頻進(jìn)行場(chǎng)景識(shí)別。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述第一層結(jié)構(gòu)包括第一子層結(jié)構(gòu)以及至少一個(gè)第二子層結(jié)構(gòu)；所述第一子層結(jié)構(gòu)用于根據(jù)所述目標(biāo)視頻確定關(guān)鍵人物的位置熱力圖像；所述第二子層結(jié)構(gòu)用于根據(jù)所述目標(biāo)視頻對(duì)所述第一子層結(jié)構(gòu)輸出的所述關(guān)鍵人物的位置熱力圖像進(jìn)行優(yōu)化；或所述第二子層結(jié)構(gòu)用于根據(jù)所述目標(biāo)視頻對(duì)前一個(gè)所述第二子層結(jié)構(gòu)輸出的優(yōu)化后的關(guān)鍵人物的位置熱力圖像進(jìn)行再次優(yōu)化。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，基于損失函數(shù)訓(xùn)練得到所述第一層結(jié)構(gòu)和所述第二層結(jié)構(gòu)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述損失函數(shù)為公式

其中，Y₁、Y₂、Y₃分別表征所述第一子層結(jié)構(gòu)、所述第二子層結(jié)構(gòu)、所述第二層結(jié)構(gòu)的輸出，G表征輸入的關(guān)鍵人物的位置熱力圖像的樣本標(biāo)簽，T表征視頻場(chǎng)景，N表征待識(shí)別場(chǎng)景的視頻樣本中的圖像幀數(shù)，W表征待識(shí)別場(chǎng)景的視頻樣本中的圖像長(zhǎng)度，H表征待識(shí)別場(chǎng)景的視頻樣本中的圖像寬度，表征第k個(gè)圖像樣本的輸出Y₁中x坐標(biāo)為i，y坐標(biāo)為j的位置上的像素點(diǎn)的值，表征第k個(gè)圖像樣本的輸出Y₂中x坐標(biāo)為i，y坐標(biāo)為j的位置上的像素點(diǎn)的值；是輸入樣本標(biāo)簽G中的第k個(gè)圖像樣本中x坐標(biāo)為i，y坐標(biāo)為j位置上的像素點(diǎn)的值；是T中第s維數(shù)據(jù)的值；是Y₃第s維數(shù)據(jù)的值，p和m為預(yù)設(shè)參數(shù)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述關(guān)鍵人物的位置熱力圖像中所述關(guān)鍵人物所在的像素點(diǎn)位置標(biāo)記為1。