[發明專利]文本與圖像聯合建模的面向人物的視頻摘要提取方法

有效

• 申請號: 201910291983.1
• 申請日: 2019-04-11
• 公開（公告）號: CN110083741B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 徐童;周培倫;尹智卓;劉東;呂廣奕;陳恩紅
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06F16/783;G06V20/40;G06V30/413;G06V20/62;G06F40/30;H04N21/234;H04N21/44;H04N21/8549
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發明公開了一種文本與圖像聯合建模的面向人物的視頻摘要提取方法，包括：對原始視頻數據進行預處理，獲得等間距的視頻幀序列以及與原始視頻數據相關的文本信息；利用人物檢測的方法逐幀地、無差別地定位出所有的人物區域，并通過一定范圍的時間窗口篩選出相關的文本信息；根據選出的人物區域與相關的文本信息，利用重識別的方法將每一人物與目標人物進行匹配，將匹配成功的人物區域及對應文本信息所屬的視頻幀作為關鍵幀；根據時間相關性聚合所有關鍵幀，并補充一些過渡幀以形成流暢的視頻片段，從而得到面向人物的視頻摘要。該方法可以結合視覺信息以及多源的文本信息，產生更加細粒度的面向視頻人物的摘要。

技術領域

本發明涉及計算機視覺和自然語言處理領域，尤其涉及一種文本與圖像聯合建模的面向人物的視頻摘要提取方法。

背景技術

視頻摘要是視頻分析的重要問題，它的任務是從一段完整的視頻中抽取出包含該視頻主要元素的摘要，例如視頻中的高亮片段或符合特定主題的摘要等等。在現實場景中，傳統的視頻摘要方法無法滿足用戶的更加個性化的需求，尤其對于一些影視愛好者或喜愛特定人物的觀眾而言，他們可能更樂于做一些特殊的面向人物的摘要，例如特定明星在某部影視作品中出場片段的剪輯等。然而，由于當前的技術所限，單純基于視頻分析的技術往往開支巨大，卻很容易造成關鍵幀的遺漏或誤判，從而影響用戶體驗。

另一方面，注意到，現有的大部分的視頻摘要方法都是基于視覺特征來衡量摘要的突出性，卻很少利用到視頻中富含的文本信息。而事實上，視頻中含有大量的不同類型的文本信息，諸如字幕和彈幕等，可以為描述當前幀的內容，尤其是提示當前出場人物的身份特征提供更為直接的語義線索。因此，如能將文本信息和視覺信息有效結合，可以更好地完成面向人物的視頻摘要任務。

發明內容

本發明的目的是提供一種文本與圖像聯合建模的面向人物的視頻摘要提取方法，可以結合視覺信息以及多源的文本信息，產生更加細粒度的面向視頻人物的摘要。

本發明的目的是通過以下技術方案實現的：

一種文本與圖像聯合建模的面向人物的視頻摘要提取方法，包括：

對原始視頻數據進行預處理，獲得等間距的視頻幀序列以及與原始視頻數據相關的文本信息；

利用人物檢測的方法逐幀地、無差別地定位出所有的人物區域，并通過一定范圍的時間窗口篩選出相關的文本信息；

根據選出的人物區域與相關的文本信息，利用重識別的方法將每一人物與目標人物進行匹配，將匹配成功的人物區域所屬的視頻幀作為關鍵幀，并保存相應的文本信息；

根據時間相關性聚合所有關鍵幀，并補充一些過渡幀以形成流暢的視頻片段，再結合對應的文本信息，從而得到面向人物的視頻摘要。

由上述本發明提供的技術方案可以看出，相比于傳統的視頻摘要方法，本發明探究了更加細粒度的面向人物的視頻摘要問題。一方面，可以提供更為優良的人物視頻摘要，在準確率、召回率和流暢度等主客觀指標上都能獲得更好的結果；另一方面，通過視頻圖像與文字的結合，可以充分挖掘并揭示與目標人物相關的語義信息，并為支撐其他相關應用提供了基礎。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。

圖1為本發明實施例提供的一種文本與圖像聯合建模的面向人物的視頻摘要提取方法的流程圖；

圖2為本發明實施例提供的人物重識別的示意圖；

圖3為本發明實施例提供的不同的情境選擇文本源的示意圖。

具體實施方式