[發明專利]基于人工智能的字幕生成方法、裝置、設備及存儲介質

在審

• 申請號: 202011010403.6
• 申請日: 2020-09-23
• 公開（公告）號: CN111949805A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 馮奕然;馮英林
• 申請（專利權）人: 深圳前海知行科技有限公司
• 主分類號: G06F16/41
• 分類號: G06F16/41;G06F16/44;H04N21/435;H04N21/488;H04N21/81;G06N3/04;G06N3/08
• 代理公司: 深圳市特訊知識產權代理事務所(普通合伙) 44653
• 代理人: 黃彧

1.一種基于人工智能的字幕生成方法，其特征在于，包括步驟：

獲取待生成字幕的視頻數據，其中，所述視頻數據包括：時間序列、所述時間序列對應的語音數據、所述時間序列對應的圖像數據；

讀取語音語言種類和目標語言種類，以及調取所述語音語言種類和所述目標語言種類對應的機器學習轉換算法，對所述語音數據進行轉換處理，生成所述目標語言種類的字符串數據，其中，所述字符串數據包括：文字字符串、所述文字字符串對應的聲紋標簽序列；

根據所述聲紋標簽序列中的標簽種類，對所述文字字符串進行染色處理，生成所述聲紋標簽序列對應的目標語言染色字幕；

根據所述時間序列，將所述目標語言染色字幕與所述圖像數據進行合并處理，生成附帶字幕的視頻數據。

2.根據權利要求1所述的基于人工智能的字幕生成方法，其特征在于，所述調取所述語音語言種類對應的機器學習轉換算法，對所述語音數據進行轉換處理，生成所述目標語言種類的字符串數據包括：

對所述語音數據的聲紋特征進行提取，生成所述語音數據對應的特征矩陣；

根據所述語音語言種類，調取所述語音語言種類對應的識別算法，以及根據所述識別算法，對所述特征矩陣進行識別處理，得到文字字符串；

根據所述時間序列，將所述文字字符串與所述特征矩陣進行嵌入處理，得到標簽特征矩陣；

根據所述語音語言種類，調取所述語音語言種類對應的聲紋分類算法，以及根據所述聲紋分類算法，對所述標簽特征矩陣進行分類標記處理，得到所述文字字符串對應的聲紋標簽序列；

將所述聲紋標簽序列與所述文字字符串進行組合處理，得到字符串數據。

3.根據權利要求2所述的基于人工智能的字幕生成方法，其特征在于，所述根據所述識別算法，對所述特征矩陣進行識別處理，得到文字字符串包括：

將所述特征矩陣與預置初始矩陣進行卷積處理，得到第一識別矩陣；

對所述第一識別矩陣進行分批歸一化處理，得到第二識別矩陣；

對所述第二識別矩陣進行映射轉換處理，得到第三識別矩陣；

將所述第三識別矩陣與預置深度矩陣進行卷積處理，得到第四識別矩陣；

根據預置激活函數，對所述第四識別矩陣進行激活判定，得到文字字符串。

4.根據權利要求2所述的基于人工智能的字幕生成方法，其特征在于，所述根據所述聲紋分類算法，對所述標簽特征矩陣進行分類標記處理，得到所述文字字符串對應的聲紋標簽序列包括：

將所述標簽特征矩陣代入預置第一期望函數中，得到第一期望值集，并將所述標簽特征矩陣代入預置第二期望函數中，得到第二期望值集；

根據所述文字字符串的排序，對所述第一期望值集和所述第二期望值集進行極大極小運算，得到極大極小值集；

依次將所述極大極小值集中的數值與預置分類區間進行比對，得到所述文字字符串對應的聲紋標簽序列。

5.根據權利要求4所述的基于人工智能的字幕生成方法，其特征在于，所述依次將所述極大極小值集中的數值與預置分類區間進行比對，得到所述文字字符串對應的聲紋標簽序列包括：

將所述極大極小值集中的數值與預置分類區間的中位數進行比對；

判斷所述數值是否大于所述分類區間的中位數；

若大于所述中位數，則將所述中位數作為最小值重新賦值所述分類區間，以便將所述數值與所述分類區間的中位數重新進行比對；

若小于所述中位數，則判斷所述數值是否等于所述中位數；

若不等于所述中位數，則將所述中位數作為最大值重新賦值所述分類區間，以便將所述數值與所述分類區間的中位數重新進行比對；

若等于所述中位數，則讀取所述中位數所在所述分類區間的聲紋標簽，將所述聲紋標簽標記至所述數值對應所述文字字符串的字符，循環標記得到所述文字字符串對應的聲紋標簽序列。