[發明專利]一種基于關鍵幀提取的視頻文字識別方法和裝置

在審

• 申請號: 202011389843.7
• 申請日: 2020-12-01
• 公開（公告）號: CN112507842A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 周昌世
• 申請（專利權）人: 寧波多牛大數據網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06T7/11;G06T7/136;G06T7/90;H04N21/44;G06F17/16;G06F17/14
• 代理公司: 北京城烽知識產權代理事務所(特殊普通合伙) 11829
• 代理人: 王新月

1.一種基于關鍵幀提取的視頻文字識別方法，其特征在于，包括：

獲取目標視頻，對所述目標視頻進行幀提取，以得到多個準關鍵幀；

對所述多個準關鍵幀進行相似度檢測，以得到關鍵幀；

對所述關鍵幀進行文字定位檢測，以得到文字區域；

對所述文字區域進行文字識別，以得到文字內容。

2.根據權利要求1所述的方法，其特征在于，所述獲取目標視頻，對所述目標視頻進行幀提取，以得到多個準關鍵幀包括：

對所述目標視頻進行逐幀提取，以得到幀集合；

將所述幀集合中每相鄰兩幀進行差分運算以獲得每相鄰兩幀的差分值；

將所述幀集合劃分為多個子幀集合，選取所述子幀集合中最大差分值對應的兩幀中后邊的一幀作為所述子幀集合的準關鍵幀。

3.根據權利要求2所述的方法，其特征在于，所述將所述幀集合中每相鄰兩幀進行差分運算以獲得每相鄰兩幀的差分值后包括：

將所有差分值保存為序列，并將所述序列進行序列數據平滑，得到經序列數據平滑后的差分值序列。

4.根據權利要求1所述的方法，其特征在于，所述對所述多個準關鍵幀進行相似度檢測，以得到關鍵幀包括：

計算得到所述多個準關鍵幀對應的哈希值；

將所述多個準關鍵幀兩兩進行組合以得到組合的準關鍵幀，計算所述組合的準關鍵幀的哈希值的漢明距離；

比較所述漢明距離與預設漢明距離，若所述漢明距離大于所述預設漢明距離，則保存該漢明距離對應的兩個準關鍵幀；

若所述漢明距離小于所述預設漢明距離，則保存該漢明距離所對應的兩個準關鍵幀中任一所述準關鍵幀。

5.根據權利要求4所述的方法，其特征在于，所述計算得到所述多個準關鍵幀對應的哈希值包括：

將所述多個準關鍵幀進行圖片轉換，以得到多個灰度圖；

通過DCT(離散余弦變換)降低所述多個灰度圖的頻率，以得到多個DCT圖；

計算所述多個DCT圖對應的哈希值。

6.一種基于關鍵幀提取的視頻文字識別裝置，其特征在于，包括：

幀提取單元，用于對獲取的目標視頻進行幀提取，以得到多個準關鍵幀；

相似度檢測單元，用于對所述多個準關鍵幀進行相似度檢測，以得到關鍵幀；

文字定位檢測單元，用于對所述關鍵幀進行文字定位檢測，以得到文字區域；

文字識別單元，用于對所述文字區域進行文字識別，以得到文字內容。

7.根據權利要求6所述的裝置，其特征在于，所述幀提取單元包括：

提取模塊，用于對所述目標視頻進行逐幀提取，以得到幀集合；

差分運算模塊，將所述幀集合中每相鄰兩幀進行差分運算以獲得每相鄰兩幀的差分值；

篩選模塊，將所述幀集合劃分為多個子幀集合，選取所述子幀集合中最大差分值對應的兩幀中后邊的一幀作為所述子幀集合的準關鍵幀。

8.根據權利要求7所述的裝置，其特征在于，所述差分運算模塊后包括：

數據平滑模塊，將所有差分值保存為序列，并將所述序列進行序列數據平滑，得到經序列數據平滑后的差分值序列。

9.根據權利要求6所述的裝置，其特征在于，所述相似度檢測單元包括:

第一計算模塊，計算得到所述多個準關鍵幀對應的哈希值；

第二計算模塊，將所述多個準關鍵幀兩兩進行組合以得到組合的準關鍵幀，計算所述組合的準關鍵幀的哈希值的漢明距離；

判斷模塊，比較所述漢明距離與預設漢明距離，若所述漢明距離大于所述預設漢明距離，則保存該漢明距離對應的兩個準關鍵幀；

若所述漢明距離小于所述預設漢明距離，則保存該漢明距離所對應的兩個準關鍵幀中任一所述準關鍵幀。

10.根據權利要求9所述的裝置，其特征在于，所述第一計算模塊包括：

圖片轉換模塊，將所述多個準關鍵幀進行圖片轉換，以得到多個灰度圖；

離散余弦變換模塊，通過DCT(離散余弦變換)降低所述多個灰度圖的頻率，以得到多個DCT圖；

哈希值計算模塊，計算所述多個DCT圖對應的哈希值。