[發明專利]一種視頻情節分段方法及系統

在審

• 申請號: 202111491984.4
• 申請日: 2021-12-08
• 公開（公告）號: CN114189754A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 楊杰;胡瑋;余意;王心瑩;宋施恩
• 申請（專利權）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: H04N21/845
• 分類號: H04N21/845;G06V20/40;G06V40/16;G06V10/82;G06V10/40;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李慧慧

本發明提供了一種視頻情節分段方法及系統，對待分段視頻進行鏡頭分段，得到多個待處理鏡頭；提取每個待處理鏡頭的特征數據；從多個待處理鏡頭中確定起始鏡頭；基于鏡頭表征特征，確定與起始鏡頭相同的待處理鏡頭并將其作為第一鏡頭，利用起始鏡頭、第一鏡頭、及起始鏡頭至第一鏡頭之間的待處理鏡頭，構建初始視頻情節分段；基于人臉表征特征、人體表征特征、場景表征特征和音頻表征特征，從不屬于初始視頻情節分段的待處理鏡頭中，確定滿足預設條件的待處理鏡頭，并將所有滿足預設條件的待處理鏡頭添加至初始視頻情節分段中，得到起始鏡頭對應的最終視頻情節分段。不需要以人工分段的方式對待分段視頻進行情節分段，提高情節分段的效率和準確率。

技術領域

本發明涉及視頻處理技術領域，具體涉及一種視頻情節分段方法及系統。

背景技術

在諸如電影和電視劇等視頻的制作中，通常采用鏡頭和情節將故事線分成易于理解的部分，為在不影響視頻的觀看體驗的基礎上開展業務(如尋找廣告插入點)，需對視頻進行情節分段。

目前對視頻進行情節分段的方式為：業務人員觀看完整的視頻，并采用人工判斷的方式對視頻進行情節分段。但是，一方面由于視頻的數量較多，業務人員需要花費大量的時間觀看視頻，情節分段的效率較低，另一方面，人工進行情節分段容易出現紕漏，情節分段的準確率較低。

發明內容

有鑒于此，本發明實施例提供一種視頻情節分段方法及系統，以解決現有情節分段方式存在的效率較低和準確率較低等問題。

為實現上述目的，本發明實施例提供如下技術方案：

本發明實施例第一方面公開一種視頻情節分段方法，所述方法包括：

對待分段視頻進行鏡頭分段，得到多個待處理鏡頭；

提取每個所述待處理鏡頭的鏡頭表征特征、人臉表征特征、人體表征特征、場景表征特征和音頻表征特征；

從多個所述待處理鏡頭中確定起始鏡頭；

基于所述鏡頭表征特征，確定與所述起始鏡頭相同的所述待處理鏡頭并將其作為第一鏡頭，利用所述起始鏡頭、所述第一鏡頭、及所述起始鏡頭至所述第一鏡頭之間的所述待處理鏡頭，構建初始視頻情節分段；

基于所述人臉表征特征、所述人體表征特征、所述場景表征特征和所述音頻表征特征，從不屬于所述初始視頻情節分段的所述待處理鏡頭中，確定滿足預設條件的所述待處理鏡頭，并將所有滿足所述預設條件的所述待處理鏡頭添加至所述初始視頻情節分段中，得到所述起始鏡頭對應的最終視頻情節分段。

優選的，所述提取每個所述待處理鏡頭的鏡頭表征特征、人臉表征特征、人體表征特征、場景表征特征和音頻表征特征，包括：

抽取每個所述待處理鏡頭的指定幀位的圖像，所述指定幀位的圖像包含：起始幀圖像、中間幀圖像和終止幀圖像；

針對每個待處理鏡頭，對所述待處理鏡頭的所述指定幀位的圖像進行人臉數量的檢測，確定人臉數量最少的所述指定幀位的圖像為第一圖像，以及確定人臉數量最多的所述指定幀位的圖像為第二圖像；

針對每個待處理鏡頭，利用預先訓練得到的人臉檢測模型從所述待處理鏡頭的第二圖像中提取人臉表征特征，及利用預先訓練得到的人體檢測模型從所述待處理鏡頭的第二圖像中提取人體表征特征，及利用預先訓練得到的場景識別模型從所述待處理鏡頭的第一圖像中提取場景表征特征，及利用預先訓練得到的鏡頭特征提取模型從所述待處理鏡頭的中間幀圖像中提取鏡頭表征特征，及利用預先訓練得到的音頻特征提取模型從所述待處理鏡頭中提取音頻表征特征；

其中，所述人臉檢測模型、所述人體檢測模型、所述場景識別模型、所述鏡頭特征提取模型和所述音頻特征提取模型分別為基于對應的樣本數據訓練神經網絡模型得到。