[發明專利]模型訓練方法、數據處理方法及裝置、設備、存儲介質

有效

• 申請號: 202010943938.2
• 申請日: 2020-09-10
• 公開（公告）號: CN111798542B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 秦勇
• 申請（專利權）人: 北京易真學思教育科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/08;G06N3/04;G06T7/136;G06T7/194;G06F16/783;G06F16/951
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 閻敏;鄧海鴻

1.一種視頻數據處理方法，其特征在于，所述方法包括：

確定待處理視頻幀，所述待處理視頻幀是從預設視頻信息中選取出的，所述預設視頻信息是對視頻數據進行視頻和音頻分離后所得到的；

基于文本位置檢測模型檢測出所述待處理視頻幀中展示的字幕內容所在位置；

基于檢測出的所述待處理視頻幀中字幕內容所在位置，估計出所述預設視頻信息的字幕內容所在的目標區域，以便于對所述預設視頻信息的視頻幀中所述目標區域進行文本識別，識別出所述目標區域所對應的字幕內容；

其中，所述基于檢測出的所述待處理視頻幀中字幕內容所在位置，估計出所述預設視頻信息的字幕內容所在的目標區域，包括：

統計選取出的多個所述待處理視頻幀中字幕內容所在位置；對統計得到的多個位置進行合并處理，估計出所述預設視頻信息的字幕內容所在的目標區域。

2.根據權利要求1所述的方法，其特征在于，所述基于文本位置檢測模型檢測出所述待處理視頻幀中展示的字幕內容所在位置，包括：

將所述待處理視頻幀輸入至所述文本位置檢測模型，得到所述待處理視頻幀對應的二值圖像，其中，所述二值圖像包含有前景區域和背景區域，所述前景區域中包含有所述待處理視頻幀中字幕內容所對應的像素點的位置；

基于所述二值圖像中所述前景區域對應的像素點的位置得到指示所述待處理視頻幀所展示字幕內容所在位置的文本區域。

3.根據權利要求1所述的方法，其特征在于，還包括：

獲取文本識別模型；

將所述預設視頻信息的視頻幀中所述目標區域對應的圖像輸入至所述文本識別模型，得到所述預設視頻信息的視頻幀所展示的字幕內容；其中，得到的字幕內容，以及字幕內容所對應的音頻信息能夠作為訓練數據來對預設模型進行訓練。

4.根據權利要求1所述的方法，其特征在于，還包括：

獲取視頻數據，其中，所述視頻數據中展示有字幕內容；

將所述視頻數據中視頻和音頻進行分離處理，得到視頻信息和音頻信息；

將分離得到的所述視頻信息作為預設視頻信息。

5.根據權利要求1所述的方法，其特征在于，所述文本位置檢測模型的訓練步驟包括：

獲取樣本圖像，以及獲取文本內容；

將所述樣本圖像與所述文本內容進行圖像合成處理，得到標注有所述文本內容所在位置的目標圖像；

至少將標注有所述文本內容所在位置的目標圖像作為訓練圖像來對文本位置檢測模型進行訓練，以便利用訓練完成后的文本位置檢測模型對待檢測圖像中文本內容所在位置進行檢測。

6.根據權利要求5所述的方法，其特征在于，所述至少將標注有所述文本內容所在位置的目標圖像作為訓練圖像來對文本位置檢測模型進行訓練，包括：

將所述目標圖像中文本內容所在位置對應的區域作為前景區域；

將所述目標圖像中除所述前景區域之外的其他區域作為背景區域；

至少將標注有前景區域和背景區域的所述目標圖像作為訓練圖像來對文本位置檢測模型進行訓練，以使訓練完成后的所述文本位置檢測模型能夠對待檢測圖像的前景區域和背景區域進行區別，并至少利用前景區域檢測出所述待檢測圖像中文本內容所對應位置。

7.根據權利要求5或6所述的方法，其特征在于，還包括：

確定視頻信息，所述視頻信息是從預設視頻信息中選取出的，所述預設視頻信息是對視頻數據進行視頻和音頻分離后所得到的；

將所述視頻信息中視頻幀作為所述樣本圖像。

8.根據權利要求7所述的方法，其特征在于，所述將所述視頻信息中視頻幀作為所述樣本圖像，包括：

將所述視頻信息的視頻幀中字幕內容進行剪裁處理，以去除掉字幕內容；

將去除掉字幕內容的視頻幀作為所述樣本圖像。

9.根據權利要求5所述的方法，其特征在于，所述獲取文本內容，包括：

從網絡資源中獲取文本信息；

從所述文本信息中選取出文本句子作為所述文本內容。