[發明專利]訓練視頻文本分類模型的方法、視頻文本分類方法和裝置

在審

• 申請號: 202011056257.0
• 申請日: 2020-09-30
• 公開（公告）號: CN112036373A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 王賀偉;馬彩虹;葉芷
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種訓練視頻文本分類模型的方法，包括：

從目標視頻中提取各幀圖像；

獲取所述各幀圖像的光學字符識別結果，所述光學字符識別結果包括至少一個文本框；

采用聚合特征對所述各幀圖像的光學字符識別結果中的文本框進行聚合，得到對應所述聚合特征的至少一個文本框集合；

基于每個所述文本框集合的位置特征、字符特征和聚類特征，確定每個所述文本框集合的分類特征；

將每個所述文本框集合的分類特征分別作為視頻文本分類模型的輸入，將對應該文本框集合的分類特征的類別分別作為所述視頻文本分類模型的期望輸出，訓練所述視頻文本分類模型的初始模型，得到訓練完成的視頻文本分類模型。

2.根據權利要求1所述的方法，所述光學字符識別結果還包括每個所述文本框的位置信息以及每個所述文本框內的文本信息；

所述采用聚合特征對所述各幀圖像的光學字符識別結果中的文本框進行聚合，得到對應所述聚合特征的至少一個文本框集合，包括：

根據每個所述文本框的位置信息，將所述各幀圖像的光學字符識別結果中位于同一高度的文本框聚合成簇，得到至少一個簇；

在各個簇中，根據每個所述文本框內的文本信息確定所述文本框之間的文本編輯距離，將文本編輯距離在預設值以內的文本框進行合并得到至少一個合并后的文本框，并計算每個所述合并后的文本框的持續時長，所述合并后的文本框的持續時長為所述目標視頻中包含所述合并后的文本框的視頻幀所對應的持續時長；

在各個簇中，將持續時長分別在不同預設區間內的合并后的文本框劃分至不同的文本框集合。

3.一種視頻文本分類方法，包括：

從目標視頻中提取各幀圖像；

獲取所述各幀圖像的光學字符識別結果，所述光學字符識別結果包括至少一個文本框；

采用聚合特征對所述各幀圖像的光學字符識別結果中的文本框進行聚合，得到對應所述聚合特征的至少一個文本框集合；

確定所述至少一個文本框集合中每個文本框集合的類別，將每個所述文本框集合的類別作為所述文本框集合中每個文本框內的文本的類別。

4.根據權利要求3所述的方法，所述方法還包括：

根據所述文本的類別確定所述文本的語義重要程度，根據所述文本和所述文本的語義重要程度提取所述目標視頻的文本關鍵信息。

5.根據權利要求3所述的方法，其中，所述光學字符識別結果還包括每個所述文本框的位置信息以及每個所述文本框內的文本信息；

所述采用聚合特征對所述各幀圖像的光學字符識別結果中的文本框進行聚合，得到對應所述聚合特征的至少一個文本框集合，包括：

根據每個所述文本框的位置信息，將所述各幀圖像的光學字符識別結果中位于同一高度的文本框聚合成簇，得到至少一個簇；

在各個簇中，根據每個所述文本框內的文本信息確定所述文本框之間的文本編輯距離，將文本編輯距離在預設值以內的文本框進行合并得到至少一個合并后的文本框，并計算每個所述合并后的文本框的持續時長，所述合并后的文本框的持續時長為所述目標視頻中包含所述合并后的文本框的視頻幀所對應的持續時長；

在各個簇中，將持續時長分別在不同預設區間內的合并后的文本框劃分至不同的文本框集合。

6.根據權利要求5所述的方法，其中，所述文本框集合的類別基于以下步驟確定：

將滿足以下至少一項要求的文本框集合確定為目標類別：

所述文本框集合內的文本框數量在目標類別對應的第一目標區間內；

所述文本框集合內的文本框持續時長的均值在目標類別對應的第二目標區間內；以及

所述文本框集合內的文本框的文本編輯距離的均值在目標類別對應的第三目標區間內。

7.根據權利要求3所述的方法，其中，所述文本框集合的類別基于以下步驟確定：

基于每個所述文本框集合的位置特征、字符特征和聚類特征，確定每個所述文本框集合的分類特征；

將每個所述文本框集合的分類特征輸入采用如權利要求1-2任一項所述的訓練視頻文本分類模型的方法所訓練完成的視頻文本分類模型，所述視頻文本分類模型輸出所述文本框集合的類別。