[發明專利]一種音視頻數據處理方法和裝置及設備

在審

• 申請號: 202010929123.9
• 申請日: 2020-09-07
• 公開（公告）號: CN112183084A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 許開拓
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06F40/211;G06N3/04;G10L15/26
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郝志國

1.一種音視頻數據處理方法，其特征在于，包括：

接收音視頻數據流，提取所述音視頻數據流中的語音數據，得到包括多個語義單元的文本序列；

將所述多個語義單元轉換為對應的詞向量；

利用對詞庫中不同語義單元間上下文依賴程度，采用不同預測方式，分多級預測各個詞向量對該詞向量上下文的依賴程度，其中第一級的輸入為各詞向量，之后每一級的輸入為各詞向量及上一級輸出的預測結果；

根據最后一級輸出的預測結果，確定需要附加標點符號的詞向量，并在文本序列中對應的語義單元位置附加標點符號。

2.根據權利要求1所述的方法，其特征在于，所述分多級預測各個詞向量對該詞向量上下文的依賴程度，包括如下至少一個步驟：

根據利用詞庫中不同語義單元所在的句式，對不同語義單元進行的全局上下文依賴程度，計算各詞向量對該詞向量的全局上下文的依賴程度；

根據利用庫存中不同語義單元在句式中前后的局部上下文，對不同語義單元進行的局部上下文依賴程度，計算各詞向量對該詞向量的局部上下文的依賴程度。

3.根據權利要求2所述的方法，其特征在于，所述計算各詞向量對該詞向量的全局上下文的依賴程度，包括：

根據對詞庫中不同語義單元進行的全局上下文依賴程度，確定多頭自注意力機制的相關參數；

利用多頭自注意力機制，對各詞向量對該詞向量的全局上下文的依賴程度進行特征提取。

4.根據權利要求2所述的方法，其特征在于，所述計算各詞向量對該詞向量的局部上下文的依賴程度，包括：

根據對詞庫中不同語義單元進行的局部上下文依賴程度，確定卷積網絡進行卷積運算的相關參數；

利用卷積網絡采用卷積算法，對各詞向量對該詞向量的局部上下文的依賴程度進行特征提取。

5.根據權利要求3所述的方法，其特征在于，不同的預測方式中，采用的多頭自注意力機制中的相關參數不同。

6.根據權利要求4所述的方法，其特征在于，不同的預測方式中，卷積網絡進行卷積運算的相關參數不同。

7.根據權利要求2所述的方法，其特征在于，所述計算各詞向量對該詞向量的全局上下文的依賴程度，或所述計算各詞向量對該詞向量的局部上下文的依賴程度，包括：

利用包括線性函數和非激活函數的前向反饋FFN網絡，將各詞向量對該詞向量的局部上下文的依賴程度進行深度特征處理。

8.根據權利要求1所述的方法，其特征在于，所述根據最后一級輸出的預測結果，確定需要附加標點符號的詞向量，包括：

對最后一級輸出的各詞向量對該詞向量的局部上下文的依賴程度的特征數據進行線性組合，得到組合后的向量；

對組合后的向量利用softmax函數，預測各詞向量是否需要附加標點符號的概率。

9.根據權利要求1所述的方法，其特征在于，所述將所述多個語義單元轉換為對應的詞向量，包括：

根據預先建立的詞庫中不同語義單元對應的編碼值，將所述多個語義單元對應的編碼值作為對應的詞向量。

10.根據權利要求1所述的方法，其特征在于，對詞庫中不同語義單元間上下文依賴程度，為通過以為輸入不同句式中語義單元對應的詞向量為輸入特征，以輸出句式中標注的標點符號為目標，對網絡模型參數進行訓練的序列建模結果。