[發明專利]視頻彈幕檢測識別方法及裝置

有效

• 申請號: 202010082625.2
• 申請日: 2020-02-07
• 公開（公告）號: CN111310757B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 畢福昆;馮素婷;韓健鴻
• 申請（專利權）人: 北方工業大學
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/19;G06V10/82;G06N3/044;G06N3/045;G06N3/0464
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 苗曉靜

本發明實施例提供一種視頻彈幕檢測識別方法及裝置，所述方法包括：將待測圖像輸入至預先訓練好的TextBoxes++網絡中進行彈幕文字的檢測，獲取所述待測圖像中彈幕文字的坐標信息；基于所述彈幕文字的坐標信息對包含彈幕文字的圖像區域進行切片處理，并將切片圖像輸入至預先訓練好的卷積循環神經網絡CRNN網絡中進行對彈幕文字的識別，獲取所述彈幕文字的文本識別結果；本發明實施例采用層次化的雙層設計，分別利用TextBoxes++檢測網絡和CRNN網絡實現視頻彈幕文本檢測和視頻彈幕文本識別，從而使得本發明實施例既能滿足視頻彈幕文本檢測的速度，又能滿足視頻彈幕文本識別的精度。

技術領域

本發明涉及計算機技術領域，尤其涉及一種視頻彈幕檢測識別方法及裝置。

背景技術

生活在互聯網時代，網絡與人們的生活越來越密不可分。網絡給人們帶來便利的同時，也埋藏著一些安全隱患，凈化網絡環境，維護網絡安全勢在必行。網絡安全產業與人工智能等新技術的融合趨勢正日趨明顯。隨著各種視頻軟件的普及，人們開始熱衷于在觀影時分享自己的感受，“彈幕”也成為各視頻運營商吸引用戶的一種有利手段，但與此同時，也不乏一些危害人民身心健康的言論的傳播。截止到現在，人們對于視頻彈幕凈化的需求更加的急切，因為彈幕可以方便人們對于視頻觀影感受的實時分享，創造一個文明的視頻彈幕環境有賴于新技術的發展。然而與一般文字檢測識別相比，視頻彈幕檢測技術的難點在于場景中的文字方向多變、多種比例、字小。

隨著現在圖像處理技術的進步和相關領域(人工智能和模式識別技術)慢慢發展，還有高速的數字信號處理器的開發，讓自動識別成為了可能。但是在復雜背景下視頻彈幕文字檢測識別方面，還沒有形成一個比較成熟的理論和方法，所以現在急需發明一種針對復雜背景下視頻彈幕文字的檢測識別方法。

發明內容

針對現有技術中的問題，本發明實施例提供一種視頻彈幕檢測識別方法及裝置。

具體地，本發明實施例提供了以下技術方案：

第一方面，本發明實施例提供了一種視頻彈幕檢測識別方法，包括：

將待測圖像輸入至預先訓練好的TextBoxes++網絡中進行彈幕文字的檢測，獲取所述待測圖像中彈幕文字的坐標信息；

基于所述彈幕文字的坐標信息對包含彈幕文字的圖像區域進行切片處理，并將切片圖像輸入至預先訓練好的卷積循環神經網絡CRNN網絡中進行對彈幕文字的識別，獲取所述彈幕文字的文本識別結果；

其中，所述預先訓練好的TextBoxes++網絡和預先訓練好的CRNN網絡為預先采用帶有彈幕文字位置和彈幕文字內容標注信息的視頻彈幕樣本圖像進行訓練后得到的。

進一步地，所述將待測圖像輸入至預先訓練好的TextBoxes++網絡中進行彈幕文字的檢測，獲取所述待測圖像中彈幕文字的坐標信息，具體包括：

修改TextBoxes++網絡的長寬比約束條件，使得修改后的TextBoxes++網絡適用檢測各種長寬比條件下的文本信息；

利用預先準備的帶有彈幕文字位置和彈幕文字內容標注信息的視頻彈幕樣本圖像對修改后的TextBoxes++網絡進行訓練，得到訓練好的TextBoxes++網絡；

將待測圖像輸入至訓練好的TextBoxes++網絡進行彈幕文字的檢測，得到彈幕文字檢測框，并獲取所述彈幕文字檢測框中彈幕文字的坐標信息。

進一步地，所述修改TextBoxes++網絡的長寬比約束條件，具體包括：

將TextBoxes++網絡的aspect?ratio修改為{2，5，7，9，10}。

進一步地，所述將待測圖像輸入至訓練好的TextBoxes++網絡進行彈幕文字的檢測，具體包括：