[發明專利]一種基于視頻流的信息處理方法、裝置以及存儲介質

在審

• 申請號: 202110285364.9
• 申請日: 2021-03-17
• 公開（公告）號: CN112905843A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 張軼君;朱玉榮
• 申請（專利權）人: 北京文香信息技術有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/78;G06F16/70;G06K9/32;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 陳志海

本申請公開了一種基于視頻流的信息處理方法、裝置以及存儲介質，對從視頻流中抓取得到的圖像幀進行文字檢測。在檢測到圖像幀的預設標注區域內存在文字的情況下，將圖像幀標記為備選圖像。對獲取到的各個備選圖像的文字集合進行比對，得到冗余圖像，其中，文字集合基于對備選圖像進行文字識別得到。刪除冗余圖像，并依據圖像幀被抓取時所對應的時間戳由早到晚的順序，對剩余的各個備選圖像進行排列，得到圖文材料。可見，利用本申請所述方法，能夠從視頻流中有效提取用戶所需的圖文材料。此外，刪除冗余圖像，能夠提高圖文材料的簡潔性，剩余的各個備選圖像依據時間戳由早到晚的順序排列，還原視頻中圖文材料的瀏覽順序，從而提高使用體驗。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種基于視頻流的信息處理方法、裝置以及存儲介質。

背景技術

隨著互聯網的快速發展，視頻會議、以及視頻課程等視頻應用越來越流行。隨著視頻會議、以及視頻課程的增多，很多人通過視頻學習和傳遞工作內容。但是視頻信息的特點是大容量和冗余，并且必須在顯示設備上播放。這使其不如文字和圖片資料那樣適合人反復學習。因為文字和圖片的信息量更大，也方便打印成紙質資料，翻閱資料比播放視頻更便捷和低能耗。另外，很多視頻學習資料或會議視頻并沒有匹配的文字內容，因為視頻中可能沒有使用ppt文檔等電子資料，而是采用板書手寫的方式展現。其中，教學視頻、以及培訓視頻通常會采用圖文材料(例如，ppt文檔、word文檔、以及手寫板書等)，結合講授者的語音信息進行教學和培訓活動。在大多數情況下，用戶只能下載視頻，但無法獲取視頻中所使用的圖文材料。

目前，還沒有看到將視頻轉化為圖文材料的技術。為了提高教學視頻的學習效率，現有技術大多是對視頻進行精確索引，切片等方式。而精簡的視頻與圖文材料相比，仍然有數據量大，內容冗余度高，需要設備播放等問題，不適合多次、方便的反復瀏覽。

為此，如何從視頻流中提取用戶所需的圖文材料，成為本領域亟需解決的問題。

發明內容

本申請提供了一種基于視頻流的信息處理方法、裝置以及存儲介質，目的在于提取視頻中所使用的圖文材料。

為了實現上述目的，本申請提供了以下技術方案：

一種基于視頻流的信息處理方法，包括：

對從視頻流中抓取得到的圖像幀進行文字檢測；

在檢測到所述圖像幀的預設標注區域內存在文字的情況下，將所述圖像幀標記為備選圖像；

對獲取到的各個所述備選圖像的文字集合進行比對，得到冗余圖像；其中，所述文字集合基于對所述備選圖像進行文字識別得到；

刪除所述冗余圖像；

依據所述圖像幀被抓取時所對應的時間戳由早到晚的順序，對剩余的各個所述備選圖像進行排列，得到圖文材料。

可選的，所述對從視頻流中抓取得到的圖像幀進行文字檢測，包括：

依據預設間隔時間，從預先加載的視頻流中抓取第n圖像幀；其中，n為正整數；

對所述第n圖像幀進行文字檢測，判斷所述第n圖像幀的預設標注區域內是否存在文字；

在所述第n圖像幀的預設標注區域內不存在所述文字的情況下，刪除所述第n圖像幀。

可選的，所述對獲取到的各個所述備選圖像的文字集合進行比對，得到冗余圖像之前，還包括：

預先將第n次抓取到的圖像幀對應的備選圖像，標記為第n備選圖像；其中，n為正整數；

判斷預設的圖像隊列中是否包含有圖像；

在所述圖像隊列中不包含有所述圖像的情況下，將所述第n備選圖像插入到所述圖像隊列中；