[發明專利]一種字幕跟蹤方法、裝置及電子設備

有效

• 申請號: 202110197363.9
• 申請日: 2021-02-22
• 公開（公告）號: CN112954455B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 王晨旭
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/488;H04N21/845;G06V10/22;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孟維娜;丁蕓

1.一種字幕跟蹤方法，其特征在于，所述方法包括：

基于待處理視頻中各視頻幀的字幕位置信息與時序關系，對各視頻幀進行第一聚類處理，得到多個第一視頻幀集合，其中，任意一個所述第一視頻幀集合中各視頻幀的字幕位置信息相匹配；

提取所述第一視頻幀集合中各視頻幀的文字特征；

基于各視頻幀的文字特征與所述時序關系，對各第一視頻幀集合分別進行第二聚類處理，得到多個第二視頻幀集合，其中，任意一個所述第二視頻幀集合中各視頻幀的文字特征相匹配；

所述基于各視頻幀的文字特征與所述時序關系，對各第一視頻幀集合分別進行第二聚類處理，得到多個第二視頻幀集合，包括：

基于第一視頻幀集合中各視頻幀的時序關系，對所述第一視頻幀集合中任意相鄰兩幀視頻幀的文字特征進行匹配，得到匹配結果；

基于匹配結果，確定候選視頻幀集合，其中，所述候選視頻幀集合中各視頻幀的文字特征相匹配；

對所述候選視頻幀集合進行向外搜索，得到所述第二視頻幀集合；

所述對所述候選視頻幀集合進行向外搜索，得到所述第二視頻幀集合，包括：

對所述候選視頻幀集合的任意一個端點，在第一方向上進行視頻幀搜索，直至搜索到目標端點幀，所述目標端點幀的文字特征與所述候選視頻幀集合中視頻幀的文字特征匹配；其中，所述第一方向為與第二方向相反的方向，所述第二方向為該端點指向所述候選視頻幀集合的另一個端點的方向；

基于所述目標端點幀對所述候選視頻幀集合進行調整，得到所述第二視頻幀集合；

所述在第一方向上進行視頻幀搜索，直至搜索到目標端點幀，包括：

在第一方向上，確定所述候選視頻幀集合的相鄰秒的視頻幀；

在所述候選視頻幀集合與所述相鄰秒的視頻幀之間的中間視頻幀中，確定所述目標端點幀，其中，所述目標端點幀的第一特征距離小于第二特征距離，所述目標端點幀在所述第一方向上的相鄰幀的第一特征距離大于第二特征距離；其中，所述第一特征距離為所述中間視頻幀的文字特征與所述候選視頻幀集合中視頻幀的文字特征之間的特征距離，所述第二特征距離為所述中間視頻幀的文字特征與所述相鄰秒的視頻幀的文字特征之間的特征距離。

2.根據權利要求1所述的方法，其特征在于，所述基于待處理視頻中各視頻幀的字幕位置信息與時序關系，對各視頻幀進行第一聚類處理，得到多個第一視頻幀集合，包括：

確定所述待處理視頻中各視頻幀的字幕位置信息，所述字幕位置信息包括：目標行字幕所在最小矩形區域的位置信息；

獲取任意相鄰兩幀視頻幀的字幕位置信息的重合程度；

基于所述重合程度與各視頻幀的時序關系，將各視頻幀劃分為多個第一視頻幀集合，其中，任意一個所述第一視頻幀集合中任意相鄰兩幀視頻幀之間的重合程度大于預設的重合程度閾值。

3.根據權利要求2所述的方法，其特征在于，所述目標行字幕包括：所述視頻幀中的所有行的字幕；或者，所述視頻幀中部分行的字幕。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述待處理視頻進行抽幀，得到所述待處理視頻的各視頻幀，其中，任意兩幀所述視頻幀所屬秒不同。

5.根據權利要求1所述的方法，其特征在于，所述提取所述第一視頻幀集合中各視頻幀的文字特征，包括：

獲取所述第一視頻幀集合中各視頻幀的字幕區域圖像；

針對所述第一視頻幀集合中各視頻幀中任意一幀視頻幀，利用預先訓練的文字識別OCR模型對該視頻幀的所述字幕區域圖像進行處理，得到所述OCR模型輸出的卷積神經網絡CNN特征，以作為該視頻幀的所述文字特征。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

利用所述第二視頻幀集合，對所述待處理視頻進行視頻幀截取；

按照各所述第二視頻幀集合的時序關系，對截取的視頻幀進行拼接，得到目標視頻，其中，所述目標視頻用于進行二次字幕處理。