[發明專利]一種基于深度學習的新聞視頻標題提取方法

有效

• 申請號: 202010211414.4
• 申請日: 2020-03-24
• 公開（公告）號: CN111401368B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王中元;陳何玲;裴盈嬌;黃寶金;涂衛平
• 申請（專利權）人: 武漢大學
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V20/40;G06V10/74;G06V10/762;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N3/0464
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

本發明公開了一種基于深度學習的新聞視頻標題提取方法，包括關鍵幀提取、關鍵幀文字檢測、關鍵幀文字特征提取和特征聚類。在關鍵幀提取過程中，使用幀間差分法，將與前一幀內容變化較大的幀作為關鍵幀；在關鍵幀文字檢測過程中，使用EAST網絡確定關鍵幀的文字區域；在關鍵幀文字特征提取過程中，使用卷積神經網絡(CNN)提取關鍵幀的特征，再將特征依次輸入循環神經網絡(RNN)，得到文字區域的特征向量；在特征聚類過程中，使用歐氏距離得到相鄰關鍵幀之間的相似度，根據相似度對關鍵幀的文字進行聚類，得到新聞視頻標題圖像。本發明利用深度學習技術，依據關鍵幀的文字特征和新聞視頻字幕特征產生新聞視頻標題，具有提取準確、運算快的優點。

技術領域

本發明屬于人工智能技術領域，涉及一種新聞視頻標題提取方法，具體涉及一種基于深度學習的新聞視頻標題提取方法。

技術背景

新聞視頻具有形象直觀、信息量大的特點，是人們獲取信息的重要來源，新聞視頻分析及處理正成為智能媒體領域的研究熱點。作為新聞視頻的一個重要特征，標題條字幕是獲取新聞視頻高層語義內容的重要線索，表達了新聞故事的中心意思，在新聞視頻拆分、內容描述、檢索和智能推薦中具有重要應用。

新聞視頻標題字幕的獲取主要依靠標題條檢測，標題條檢測主要包括五類方法。第一類，基于邊緣檢測的方法，該類雖然可以快速檢測到文字區域，但魯棒性較差。第二類，基于紋理特征的方法，該方法能夠適用于具有復雜特征的圖片，但算法的效率較低。第三類，基于區域特征的方法，該方法對圖片對比度以及分辨率要求較高。第四類，基于標題條形狀特征快速檢測的方法，該方法利用標題條是固定矩形的特點，降低了復雜度，提高了檢測速度。第五類，基于機器學習的檢測方法，將圖片分割為若干個子塊，送入已訓練好的分類器中，得到子塊有字幕或無字幕的分類結果，該方法正確率較高，但大量數據集導致模型訓練的復雜度過高。

現有的新聞視頻標題字幕提取方法不僅速度慢、魯棒性較差，并且提取效果還嚴重依賴于字幕區域特定的位置和形狀。為此，有必要發展新的基于深度學習的新聞視頻標題提取方法。

發明內容

為了解決上述技術問題，本發明利用深度學習檢測關鍵幀的文字和提取文字特征，通過聚類得到新聞視頻標題。對于關鍵幀文字檢測，采用EAST網絡；對于文字特征提取，采用CNN和RNN。本發明方法比傳統方法更快、更準確，也不依賴于字幕的形狀和位置。

本發明所采用的技術方案是：一種基于深度學習的新聞視頻標題提取方法，其特征在于，包括以下步驟：

步驟1：利用幀間差分方法提取關鍵幀；

步驟2：使用EAST網絡得到關鍵幀文字區域；

步驟3：使用CNN和RNN先后提取關鍵幀文字區域的特征向量；

步驟4：根據得到的特征向量進行關鍵幀的相似性比較，然后進行聚類得到新聞視頻標題字幕圖像。

相對于現有技術，本發明方法具有如下積極效果：

1)本發明中涉及的方法不依賴于字幕的位置、形狀等特征，而是基于關鍵幀上所有文字內容判定是否為標題字幕，因而算法的普適性好。

2)本發明利用深度學習對關鍵幀文字進行檢測，并提取其特征，相對于傳統方法而言，更加快速、準確，魯棒性更好。

附圖說明

圖1：本發明實施例的流程圖。

具體實施方式

為了便于本領域普通技術人員理解和實施本發明，下面結合附圖及實施案例對本發明做進一步的詳細描述，應當理解，此處所描述的實施示例僅用于說明和解釋本發明，并不用于限定本發明。

請見圖1，本發明提供的一種基于深度學習的新聞視頻標題提取方法，包括以下步驟：

步驟1：使用幀間差分的方法實現關鍵幀提取；