[發(fā)明專利]一種主持人鏡頭檢測方法及裝置

有效

• 申請?zhí)枺?/td>: 201710202164.6
• 申請日: 2017-03-30
• 公開（公告）號: CN107087211B
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 劉楠
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;G06K9/62
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 馬敬;項(xiàng)京

1.一種主持人鏡頭檢測方法，其特征在于，包括：

獲取包括多個(gè)視頻幀的視頻；

按照所述視頻幀之間的相似度，將所有視頻幀劃分為多個(gè)鏡頭，并分別抽取所有鏡頭的關(guān)鍵幀；其中，鏡頭的關(guān)鍵幀為能夠描述鏡頭主要內(nèi)容的視頻幀；

分別將每一個(gè)鏡頭的所述關(guān)鍵幀，作為主持人分類器的輸入，得到每一個(gè)關(guān)鍵幀的圖像人物姿態(tài)類別，以確定主持人鏡頭；其中，所述主持人分類器包括根據(jù)多個(gè)訓(xùn)練樣本，通過深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)模型得到的分類器，所述圖像人物姿態(tài)類別表示主持人是否在關(guān)鍵幀中出現(xiàn)、以及主持人在關(guān)鍵幀中出現(xiàn)的姿態(tài)；

所述分別將每一個(gè)鏡頭的所述關(guān)鍵幀，作為主持人分類器的輸入，得到每一個(gè)關(guān)鍵幀的圖像人物姿態(tài)類別，以確定主持人鏡頭，包括：

統(tǒng)計(jì)每一個(gè)鏡頭的所有關(guān)鍵幀的圖像人物姿態(tài)類別，確定每一個(gè)鏡頭的所有關(guān)鍵幀的圖像人物姿態(tài)類別中、出現(xiàn)次數(shù)最多的圖像人物姿態(tài)類別為所述鏡頭的圖像人物姿態(tài)類別；

在所述鏡頭的圖像人物姿態(tài)類別為主持人姿態(tài)類時(shí)，確定所述鏡頭為主持人鏡頭，其中，所述主持人姿態(tài)類包括:雙人主持人坐姿類、單人主持人坐姿類、單人主持人站姿類；

其中，所述主持人分類器的訓(xùn)練過程，包括：

收集人工標(biāo)記完成的多個(gè)訓(xùn)練樣本，其中，所述訓(xùn)練樣本包括已標(biāo)記圖像人物姿態(tài)類別的視頻幀；

將多個(gè)訓(xùn)練樣本，作為所述神經(jīng)網(wǎng)絡(luò)模型的輸入，通過深度學(xué)習(xí)方法，訓(xùn)練得到所述主持人分類器，所述主持人分類器用于得到關(guān)鍵幀的圖像人物姿態(tài)類別。

2.根據(jù)權(quán)利要求1所述的主持人鏡頭檢測方法，其特征在于，所述確定每一個(gè)鏡頭的所有關(guān)鍵幀的圖像人物姿態(tài)類別中、出現(xiàn)次數(shù)最多的圖像人物姿態(tài)類別為所述鏡頭的圖像人物姿態(tài)類別，包括：

將每一個(gè)鏡頭的所述關(guān)鍵幀，作為訓(xùn)練完成的主持人分類器的輸入，分別得到每一個(gè)關(guān)鍵幀是每一種圖像人物姿態(tài)類別時(shí)的置信度，其中，所述圖像人物姿態(tài)類別包括：雙人主持人坐姿類、單人主持人坐姿類、單人主持人站姿類以及非主持人類；

確定所述置信度最大時(shí)、對應(yīng)的圖像人物姿態(tài)類別是所述關(guān)鍵幀的圖像人物姿態(tài)類別。

3.根據(jù)權(quán)利要求1所述的主持人鏡頭檢測方法，其特征在于，所述按照所述視頻幀之間的相似度，將所有視頻幀劃分為多個(gè)鏡頭，并分別抽取所有鏡頭的關(guān)鍵幀，包括：

計(jì)算每一個(gè)視頻幀的顏色直方圖特征；

根據(jù)相鄰視頻幀的顏色直方圖特征之間的歐氏距離，將所有視頻幀劃分為多個(gè)鏡頭，并記錄所有鏡頭的開始位置和結(jié)束位置；

根據(jù)抽取關(guān)鍵幀間隔，分別抽取多個(gè)鏡頭的預(yù)設(shè)個(gè)數(shù)的關(guān)鍵幀，其中，所述抽取關(guān)鍵幀間隔，根據(jù)所述鏡頭的開始位置、結(jié)束位置以及所述預(yù)設(shè)個(gè)數(shù)得到。

4.根據(jù)權(quán)利要求3所述的主持人鏡頭檢測方法，其特征在于，所述根據(jù)相鄰視頻幀的顏色直方圖特征之間的歐氏距離，將所有視頻幀劃分為多個(gè)鏡頭，包括：

在相鄰視頻幀的顏色直方圖特征之間的歐氏距離大于第一距離閾值時(shí)，在所述相鄰視頻幀之間進(jìn)行鏡頭分割；

將所述相鄰視頻幀中、時(shí)域序列在前的視頻幀作為當(dāng)前視頻幀，在所述當(dāng)前視頻幀與第一視頻幀之間的歐氏距離，大于第二距離閾值時(shí)，在所述當(dāng)前視頻幀與所述第一視頻幀之間進(jìn)行鏡頭分割，其中，第一視頻幀包括時(shí)域序列在所述當(dāng)前視頻幀之前的視頻幀。