[發明專利]語音識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111067308.4
• 申請日: 2021-09-13
• 公開（公告）號: CN113823278A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 吳俊;陳孝良;李智勇
• 申請（專利權）人: 北京聲智科技有限公司
• 主分類號: G10L15/20
• 分類號: G10L15/20;G10L15/26;G10L15/14;G10L15/16;G10L15/02
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢少真

1.一種語音識別方法，其特征在于，所述方法包括：

獲取音頻信號和振動信號，所述振動信號為第一對象的發聲部位的皮膚振動產生的信號，所述音頻信號的采集時間與所述振動信號的采集時間之間的時間間隔在預設范圍內；

分別確定所述音頻信號與所述振動信號之間的關聯特征、所述音頻信號的音頻特征、以及所述振動信號的振動特征；

對所述關聯特征、所述音頻特征和所述振動特征進行融合，得到融合特征；

對所述融合特征進行語音識別。

2.根據權利要求1所述的方法，其特征在于，所述分別確定所述音頻信號與所述振動信號之間的關聯特征、所述音頻信號的音頻特征、以及所述振動信號的振動特征，包括：

按照相同的時間長度對所述音頻信號和所述振動信號分別進行分幀，得到連續的多個音頻信號幀和多個振動信號幀，其中，每個音頻信號幀按照時間對應有一個振動信號幀；

確定每個所述音頻信號幀與所述音頻信號幀對應的振動信號幀之間的關聯子特征；

確定所述關聯特征由多個所述音頻信號幀對應的關聯子特征構成；

確定所述音頻特征由多個所述音頻信號幀的音頻子特征構成；

確定所述振動特征由多個所述振動信號幀的振動子特征構成。

3.根據權利要求2所述的方法，其特征在于，所述對所述關聯特征、所述音頻特征和所述振動特征進行融合，得到融合特征，包括：

對每個所述音頻信號幀的音頻子特征、所述音頻信號幀對應的振動信號幀的振動子特征以及所述音頻信號幀與所述振動信號幀之間的關聯子特征進行融合，得到所述音頻信號幀對應的融合子特征；

確定所述融合特征由多個所述音頻信號幀對應的融合子特征構成。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述融合特征包括多個所述音頻信號幀對應的融合子特征，所述對所述融合特征進行語音識別，包括：

對每個所述音頻信號幀對應的融合子特征與所述音頻信號幀對應的多個其他融合子特征進行融合，得到所述音頻信號幀對應的更新后的融合子特征；

調用語音識別網絡，對多個所述音頻信號幀對應的更新后的融合子特征進行語音識別，得到文本信息；

其中，所述多個其他融合子特征為位于所述音頻信號幀之前的第一數量的音頻信號幀對應的融合子特征或位于所述音頻信號幀之后的第二數量的音頻信號幀對應的融合子特征，或者所述多個其他的融合子特征為取自所述音頻信號幀之前和之后的多個音頻信號幀對應的融合子特征。

5.根據權利要求4所述的方法，其特征在于，在獲取音頻信號和振動信號之前，還包括：訓練所述語音識別網絡；所述訓練所述語音識別網絡的步驟包括：

獲取樣本音頻信號、所述樣本音頻信號對應的標注文本信息和樣本振動信號，所述樣本音頻信號的采集時間與所述樣本振動信號的采集時間之間的時間間隔在所述預設范圍內，所述樣本振動信號為第二對象的發聲部位的皮膚振動產生的信號；

對所述樣本音頻信號與所述樣本振動信號之間的樣本關聯特征、所述樣本音頻信號的樣本音頻特征、以及所述樣本振動信號的樣本振動特征進行融合，得到樣本融合特征；

調用所述語音識別網絡，對所述樣本融合特征進行語音識別，得到預測文本信息；

基于所述預測文本信息和所述標注文本信息，訓練所述語音識別網絡。

6.根據權利要求4所述的方法，其特征在于，所述語音識別網絡包括聲學模型和語言模型，所述調用語音識別網絡，對多個所述音頻信號幀對應的更新后的融合子特征進行語音識別，得到文本信息，包括：

調用所述聲學模型，對多個所述音頻信號幀對應的更新后的融合子特征進行聲學識別，得到多個所述音頻信號幀對應的聲學單元；

調用所述語言模型，將多個所述音頻信號幀對應的聲學單元轉換為至少一個文本單元，將所述至少一個文本單元構成所述文本信息。