[發明專利]一種字幕跟蹤方法、裝置及電子設備

有效

• 申請號: 202110197363.9
• 申請日: 2021-02-22
• 公開（公告）號: CN112954455B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 王晨旭
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/488;H04N21/845;G06V10/22;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孟維娜;丁蕓

本發明實施例提供了一種字幕跟蹤方法、裝置及電子設備。其中，所述方法包括：基于待處理視頻中各視頻幀的字幕位置信息與時序關系，對各視頻幀進行第一聚類處理，得到多個第一視頻幀集合，其中，任意一個所述第一視頻幀集合中各視頻幀的字幕位置信息相匹配；提取所述第一視頻幀集合中各視頻幀的文字特征；基于各視頻幀的文字特征與所述時序關系，對各第一視頻幀集合分別進行第二聚類處理，得到多個第二視頻幀集合，其中，任意一個所述第二視頻幀集合中各視頻幀的文字特征相匹配。可以有效提字幕跟蹤的準確性。

技術領域

本發明涉及多媒體技術領域，特別是涉及一種字幕跟蹤方法、裝置及電子設備。

背景技術

在一些應用場景中，出于實際需求需要對視頻進行字幕跟蹤處理，以確定出具有相同字幕的視頻幀。相關技術中，可以檢測視頻幀中字幕所處的圖像區域，并提取圖像區域的圖像特征，通過計算圖像特征的相似度判斷不同視頻幀中的字幕是否相同。

但是，視頻幀中字幕往往是覆蓋在視頻畫面之上的，因此字幕所處的圖像區域中除了字幕還存在背景畫面，由于不同的視頻幀的視頻畫面不完全相同，因此在視頻跟蹤過程中，即使兩個視頻幀中的字幕相同，也可能由于字幕所處圖像區域中背景畫面的變化，使得該兩個視頻幀中字幕所處圖像區域的圖像特征差別較大，進而導致錯誤地將該兩個視頻幀判斷為具有不同字幕的視頻幀。

因此，如何準確地對視頻中的字幕進行跟蹤成為亟待解決的技術問題。

發明內容

本發明實施例的目的在于提供一種字幕跟蹤方法、裝置及電子設備，用以提高字幕跟蹤的準確性。具體技術方案如下：

在本發明實施例的第一方面，提供了一種字幕跟蹤方法，所述方法包括：

基于待處理視頻中各視頻幀的字幕位置信息與時序關系，對各視頻幀進行第一聚類處理，得到多個第一視頻幀集合，其中，任意一個所述第一視頻幀集合中各視頻幀的字幕位置信息相匹配；

提取所述第一視頻幀集合中各視頻幀的文字特征；

基于各視頻幀的文字特征與所述時序關系，對各第一視頻幀集合分別進行第二聚類處理，得到多個第二視頻幀集合，其中，任意一個所述第二視頻幀集合中各視頻幀的文字特征相匹配。

在本發明實施例第二方面，提供了一種字幕跟蹤裝置，所述裝置包括：

第一聚類模塊，用于基于待處理視頻中各視頻幀的字幕位置信息與時序關系，對各視頻幀進行第一聚類處理，得到多個第一視頻幀集合，其中，任意一個所述第一視頻幀集合中各視頻幀的字幕位置信息相匹配；

特征提取模塊，用于提取所述第一視頻幀集合中各視頻幀的文字特征；

第二聚類模塊，用于基于各視頻幀的文字特征與所述時序關系，對各第一視頻幀集合分別進行第二聚類處理，得到多個第二視頻幀集合，其中，任意一個所述第二視頻幀集合中各視頻幀的文字特征相匹配。

在本發明實施例的第三方面，提供了一種電子設備，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；

存儲器，用于存放計算機程序；

處理器，用于執行存儲器上所存放的程序時，實現上述第一方面任一所述的方法步驟。