[發(fā)明專利]結合彈幕理解和視頻內容理解的精彩片段提取方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110707175.6
• 申請日: 2021-06-25
• 公開（公告）號: CN113254704B
• 公開（公告）日: 2021-10-29
• 發(fā)明（設計）人: 羅冠;許怡洋
• 申請（專利權）人: 北京視連通科技有限公司
• 主分類號: G06F16/732
• 分類號: G06F16/732;G06F16/74;G06F16/783;G06N3/04;G06N3/08;H04N21/84
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 李斌

1.結合彈幕理解和視頻內容理解的精彩片段提取方法，其特征在于，所述方法包括：

獲取視頻數(shù)據(jù)，并獲取該視頻數(shù)據(jù)對應的彈幕信息流，所述彈幕信息流包括時間軸數(shù)據(jù)和彈幕內容數(shù)據(jù)；

對視頻數(shù)據(jù)進行內容識別，得到內容識別結果，所述內容識別結果包含至少一個視頻片段；

根據(jù)時間軸數(shù)據(jù)節(jié)選出與視頻片段對應的彈幕流片段；

對彈幕流片段進行分析，得到分析結果；

根據(jù)分析結果篩選視頻片段，得到精彩片段；

所述獲取該視頻數(shù)據(jù)對應的彈幕信息流的步驟，具體包括：

從視頻數(shù)據(jù)中隨機截取至少一幀視頻畫面，得到視頻檢索源圖像；

根據(jù)視頻檢索源圖像在搜索引擎上進行搜索，得到視頻搜索結果，所述視頻搜索結果包括相應的視頻鏈接；

根據(jù)視頻搜索結果中的視頻鏈接，生成訪問路徑表；

根據(jù)訪問路徑表逐個訪問相應的視頻鏈接，并獲取對應的彈幕信息流。

2.根據(jù)權利要求1所述的結合彈幕理解和視頻內容理解的精彩片段提取方法，其特征在于，所述對視頻數(shù)據(jù)進行內容識別的步驟，具體包括：

建立訓練數(shù)據(jù)庫和ResNet模型，所述訓練數(shù)據(jù)庫中預存有訓練圖像集、檢測圖像集和人工描述信息；

利用訓練圖像集及其對應的人工描述信息對ResNet模型進行訓練；

利用檢測圖像集和人工描述信息對ResNet模型的訓練結果進行檢測驗證；

利用訓練好的ResNet模型對視頻數(shù)據(jù)進行內容識別。

3.根據(jù)權利要求1所述的結合彈幕理解和視頻內容理解的精彩片段提取方法，其特征在于，所述對彈幕流片段進行分析，得到分析結果的步驟，具體包括：

按預設時間步長對彈幕流片段進行分段，得到碎片彈幕流；

識別碎片彈幕流中的包含的文字信息以及彈幕數(shù)量，得到彈幕內容分析表；

根據(jù)彈幕內容分析表生成分析結果。

4.根據(jù)權利要求1所述的結合彈幕理解和視頻內容理解的精彩片段提取方法，其特征在于，所述根據(jù)分析結果篩選視頻片段，得到精彩片段的步驟，具體包括：

根據(jù)分析結果中彈幕的文字信息類型對各視頻片段進行分類，得到分類片段；

根據(jù)分析結果中的彈幕數(shù)量對分類片段進行排序；

并按照排序選取預設數(shù)量的分類片段作為精彩片段。

5.根據(jù)權利要求4所述的結合彈幕理解和視頻內容理解的精彩片段提取方法，其特征在于，所述彈幕數(shù)量需要根據(jù)每條彈幕的點贊數(shù)量按照預設比例放大。

6.根據(jù)權利要求3所述的結合彈幕理解和視頻內容理解的精彩片段提取方法，其特征在于，在每一個時間步長內，至少包含一條彈幕。

7.結合彈幕理解和視頻內容理解的精彩片段提取系統(tǒng)，其特征在于，所述系統(tǒng)包括：

數(shù)據(jù)獲取模塊，用于獲取視頻數(shù)據(jù)，并獲取該視頻數(shù)據(jù)對應的彈幕信息流，所述彈幕信息流包括時間軸數(shù)據(jù)和彈幕內容數(shù)據(jù)；

內容識別模塊，用于對視頻數(shù)據(jù)進行內容識別，得到內容識別結果，所述內容識別結果包含至少一個視頻片段；

彈幕分割模塊，用于根據(jù)時間軸數(shù)據(jù)節(jié)選出與視頻片段對應的彈幕流片段；

彈幕分析模塊，用于對彈幕流片段進行分析，得到分析結果；

片段生成模塊，用于根據(jù)分析結果篩選視頻片段，得到精彩片段；

所述數(shù)據(jù)獲取模塊包括：

圖像提取單元，用于從視頻數(shù)據(jù)中隨機截取至少一幀視頻畫面，得到視頻檢索源圖像；

視頻檢索單元，用于根據(jù)視頻檢索源圖像在搜索引擎上進行搜索，得到視頻搜索結果，所述視頻搜索結果包括相應的視頻鏈接；

路徑生成單元，用于根據(jù)視頻搜索結果中的視頻鏈接，生成訪問路徑表；

彈幕提取單元，用于根據(jù)訪問路徑表逐個訪問相應的視頻鏈接，并獲取對應的彈幕信息流。

8.根據(jù)權利要求7所述的結合彈幕理解和視頻內容理解的精彩片段提取系統(tǒng)，其特征在于，所述內容識別模塊包括：

模型建立單元，用于建立訓練數(shù)據(jù)庫和ResNet模型，所述訓練數(shù)據(jù)庫中預存有訓練圖像集、檢測圖像集和人工描述信息；

模型訓練單元，用于利用訓練圖像集及其對應的人工描述信息對ResNet模型進行訓練；

模型驗證單元，用于利用檢測圖像集和人工描述信息對ResNet模型的訓練結果進行檢測驗證；

模型識別單元，用于利用訓練好的ResNet模型對視頻數(shù)據(jù)進行內容識別。