[發(fā)明專利]一種視頻情節(jié)分段方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111491984.4
• 申請日: 2021-12-08
• 公開（公告）號: CN114189754A
• 公開（公告）日: 2022-03-15
• 發(fā)明（設計）人: 楊杰;胡瑋;余意;王心瑩;宋施恩
• 申請（專利權）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: H04N21/845
• 分類號: H04N21/845;G06V20/40;G06V40/16;G06V10/82;G06V10/40;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李慧慧

1.一種視頻情節(jié)分段方法，其特征在于，所述方法包括：

對待分段視頻進行鏡頭分段，得到多個待處理鏡頭；

提取每個所述待處理鏡頭的鏡頭表征特征、人臉表征特征、人體表征特征、場景表征特征和音頻表征特征；

從多個所述待處理鏡頭中確定起始鏡頭；

基于所述鏡頭表征特征，確定與所述起始鏡頭相同的所述待處理鏡頭并將其作為第一鏡頭，利用所述起始鏡頭、所述第一鏡頭、及所述起始鏡頭至所述第一鏡頭之間的所述待處理鏡頭，構建初始視頻情節(jié)分段；

基于所述人臉表征特征、所述人體表征特征、所述場景表征特征和所述音頻表征特征，從不屬于所述初始視頻情節(jié)分段的所述待處理鏡頭中，確定滿足預設條件的所述待處理鏡頭，并將所有滿足所述預設條件的所述待處理鏡頭添加至所述初始視頻情節(jié)分段中，得到所述起始鏡頭對應的最終視頻情節(jié)分段。

2.根據(jù)權利要求1所述的方法，其特征在于，所述提取每個所述待處理鏡頭的鏡頭表征特征、人臉表征特征、人體表征特征、場景表征特征和音頻表征特征，包括：

抽取每個所述待處理鏡頭的指定幀位的圖像，所述指定幀位的圖像包含：起始幀圖像、中間幀圖像和終止幀圖像；

針對每個待處理鏡頭，對所述待處理鏡頭的所述指定幀位的圖像進行人臉數(shù)量的檢測，確定人臉數(shù)量最少的所述指定幀位的圖像為第一圖像，以及確定人臉數(shù)量最多的所述指定幀位的圖像為第二圖像；

針對每個待處理鏡頭，利用預先訓練得到的人臉檢測模型從所述待處理鏡頭的第二圖像中提取人臉表征特征，及利用預先訓練得到的人體檢測模型從所述待處理鏡頭的第二圖像中提取人體表征特征，及利用預先訓練得到的場景識別模型從所述待處理鏡頭的第一圖像中提取場景表征特征，及利用預先訓練得到的鏡頭特征提取模型從所述待處理鏡頭的中間幀圖像中提取鏡頭表征特征，及利用預先訓練得到的音頻特征提取模型從所述待處理鏡頭中提取音頻表征特征；

其中，所述人臉檢測模型、所述人體檢測模型、所述場景識別模型、所述鏡頭特征提取模型和所述音頻特征提取模型分別為基于對應的樣本數(shù)據(jù)訓練神經(jīng)網(wǎng)絡模型得到。

3.根據(jù)權利要求1所述的方法，其特征在于，所述基于所述鏡頭表征特征，確定與所述起始鏡頭相同的所述待處理鏡頭并將其作為第一鏡頭，利用所述起始鏡頭、所述第一鏡頭、及所述起始鏡頭至所述第一鏡頭之間的所述待處理鏡頭，構建初始視頻情節(jié)分段，包括：

基于所述鏡頭表征特征，從與所述起始鏡頭左相鄰的N個所述待處理鏡頭以及與所述起始鏡頭右相鄰的N個所述待處理鏡頭中，確定與所述起始鏡頭相同的第一鏡頭；

利用所述起始鏡頭、所述第一鏡頭、及所述起始鏡頭至所述第一鏡頭之間的所述待處理鏡頭，構建第一視頻情節(jié)分段；

重復執(zhí)行以下步驟，直至將所有與第二鏡頭相同且不屬于所述第一視頻情節(jié)分段的所述待處理鏡頭添加至所述第一視頻情節(jié)分段，得到初始視頻情節(jié)分段，所述第二鏡頭為所述第一視頻情節(jié)分段中除所述起始鏡頭外的所述待處理鏡頭；

所述以下步驟包括：

針對每個第二鏡頭，基于所述鏡頭表征特征，從與所述第二鏡頭左相鄰的N個所述待處理鏡頭以及與所述第二鏡頭右相鄰的N個所述待處理鏡頭中，確定與所述第二鏡頭相同的所述待處理鏡頭并將其添加至所述第一視頻情節(jié)分段。