[發明專利]多方言混合語音的識別方法、裝置、系統和存儲介質

有效

• 申請號: 201910973395.6
• 申請日: 2019-10-14
• 公開（公告）號: CN110534115B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 顧欣欣;陸文淵;曾傳名
• 申請（專利權）人: 上海企創信息科技有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/18;G10L15/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種多方言混合語音的識別方法，其特征在于，包括：

將初始待識別語音作為目標語音，并獲取至少一個方言識別子系統處理所述目標語音得到的語義文本以及與所述語義文本對應的時間線信息，各所述方言識別子系統對應方言的種類至少包括所述初始待識別語音所包含方言的種類；

將各所述語義文本及時間線信息加入到相應方言識別子系統的歷史分詞集中；

獲取各所述方言識別子系統對應的未處理目標語音，依次作為新的目標語音，并返回執行對應所述目標語音的語義文本和時間線信息的獲取操作，直至各所述方言識別子系統均對應不存在未處理目標語音；

針對各所述方言識別子系統對應的歷史分詞集，根據各所述歷史分詞集中的語義文本結合對應的時間線信息形成至少一條分詞序列，并基于各所述分詞序列構成相應方言識別子系統的分詞序列集；

從各所述方言識別子系統所對應的分詞序列集中確定所述初始待識別語音的識別結果；

所述從各所述方言識別子系統所對應的分詞序列集中確定所述初始待識別語音的識別結果，包括：

將各所述方言識別子系統所對應的分詞序列集中的分詞序列匯總至全文辨析子系統，以通過所述全文辨析子系統基于預設打分規則對各所述分詞序列進行打分；

基于所述全文辨析子系統對各所述分詞序列的打分結果，擇高選取至少一個所述分詞序列作為所述初始待識別語音的識別結果。

2.根據權利要求1所述的方法，其特征在于，所述方言識別子系統包括：語音轉文組件和語義解析組件；

相應地，針對每個方言識別子系統，所述方言識別子系統處理所述目標語音得到語義文本以及與所述語義文本對應的時間線信息的步驟，包括：

通過所述方言識別子系統中的語音轉文組件對所述目標語音進行語音識別，得到與所述目標語音對應的語音文本以及與所述語音文本對應的時間線信息；

通過所述方言識別子系統中的語義解析組件對所述語音文本進行語義解析，若得到與所述語音文本對應的語義文本，則將所述語義文本確定為與所述目標語音對應的語義文本，并將所述時間線信息確定為與所述語義文本對應的時間線信息；若得不到與所述語音文本對應的語義文本，則判定所述語音文本對應的方言與相應已處理目標語音對應的方言不匹配，并將所述語音文本和時間線信息丟棄。

3.根據權利要求1所述的方法，其特征在于，所述將各所述語義文本及時間線信息加入到相應方言識別子系統的歷史分詞集中，包括：

針對每個語義文本，判斷所述語義文本對應的目標語音是否為所述初始待識別語音；

若所述語義文本對應的目標語音為所述初始待識別語音，則將所述語義文本確定為生成所述語義文本的方言識別子系統所對應的首個語義文本，并將所述首個語義文本及時間線信息組成二元信息組加入到生成所述首個語義文本的方言識別子系統所對應的歷史分詞集中；

若所述語義文本對應的目標語音不是所述初始待識別語音，則基于所述目標語音確定與所述語義文本對應的鄰接語義文本，并將所述語義文本和鄰接語義文本以及時間線信息組成三元信息組加入到與所述語義文本對應的首個語義文本所在的歷史分詞集中；

所述鄰接語義文本為與所述語義文本關聯的前一語義文本。

4.根據權利要求3所述的方法，其特征在于，所述針對各所述方言識別子系統對應的歷史分詞集，根據所述歷史分詞集中的語義文本結合對應的時間線信息形成至少一條分詞序列，并基于各所述分詞序列構成相應方言識別子系統的分詞序列集，包括：

針對每個方言識別子系統對應的歷史分詞集，獲取所述歷史分詞集中的首個語義文本；

針對所述歷史分詞集中的每個三元信息組，基于所述三元信息組中的鄰接語義文本和時間線信息，確定所述三元信息組的鄰接三元信息組；

將互為鄰接三元信息組的各所述三元信息組按照各所述三元信息組中的時間線信息順序排列，形成至少一條三元信息組序列；

針對每個三元信息組序列，順序從所述三元信息組序列的各所述三元信息組中取出對應的語義文本，并以所述首個語義文本為序列頭形成一條分詞序列。