[發明專利]語音識別方法、裝置、設備及可讀存儲介質

有效

• 申請號: 202010058833.9
• 申請日: 2020-01-19
• 公開（公告）號: CN111276149B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 吳嘉嘉;殷兵;胡金水;劉聰
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/24;G10L15/16;G06V10/22;G06V10/764;G06F40/289;G06F40/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊華

1.一種語音識別方法，其特征在于，包括：

獲取與待識別語音相關的材料數據；

確定所述材料數據包含的內容信息，并至少基于所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征，確定所述材料數據對應的初步參考文本；

基于所述初步參考文本，確定所述待識別語音對應的參考文本集；

結合所述參考文本集對所述待識別語音進行語音識別，得到語音識別結果；

所述結合所述參考文本集對所述待識別語音進行語音識別，得到語音識別結果，包括：使用語音識別模型對所述待識別語音進行識別，得到初步語音識別結果；利用所述參考文本集中的參考文本，對所述初步語音識別結果進行修正，得到修正后的語音識別結果。

2.根據權利要求1所述的方法，其特征在于，所述至少基于所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征，確定所述材料數據對應的初步參考文本，包括：

基于所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征，確定所述材料數據對應的初步參考文本；

或，

基于所述內容信息的語義特征、所述內容信息在所述材料數據中的視覺表現特征及所述材料數據的屬性特征，確定所述材料數據對應的初步參考文本。

3.根據權利要求2所述的方法，其特征在于，

若基于所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征，確定所述材料數據對應的初步參考文本，則所述內容信息在所述材料數據中的視覺表現特征包括以下任意一項或多項的組合：

內容信息在所述材料數據中的格式、排版、位置；

若基于所述內容信息的語義特征、所述內容信息在所述材料數據中的視覺表現特征及所述材料數據的屬性特征，確定所述材料數據對應的初步參考文本，則所述內容信息在所述材料數據中的視覺表現特征包括以下任意一項或多項的組合：

內容信息在所述材料數據中的格式、排版、位置；

所述材料數據的屬性特征包括以下任意一項或多項的組合：

材料數據的類型、材料數據的風格、材料數據的編著人屬性信息。

4.根據權利要求1所述的方法，其特征在于，若所述至少基于所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征，確定所述材料數據對應的初步參考文本，包括：基于所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征，確定所述材料數據對應的初步參考文本，則所述基于所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征，確定所述材料數據對應的初步參考文本，包括：

確定所述內容信息的語義特征及所述內容信息在所述材料數據中的視覺表現特征；

將所述語義特征及所述視覺表現特征輸入配置的關鍵信息確定模型，得到模型輸出的關鍵信息，作為材料數據對應的初步參考文本，其中：

所述關鍵信息確定模型以訓練數據所包含的內容信息的語義特征及內容信息在訓練數據中的視覺表現特征為訓練樣本，以標注的與訓練數據對應的關鍵信息為樣本標簽訓練得到。

5.根據權利要求4所述的方法，其特征在于，確定所述內容信息的語義特征的過程，包括：

若所述內容信息為文本信息，則對所述文本信息進行分詞，并確定每一分詞的詞向量作為分詞的語義特征；

若所述內容信息為多媒體信息，則以所述多媒體信息為檢索條件，檢索相關文本信息，并對所述相關文本信息進行分詞，確定每一分詞的詞向量作為分詞的語義特征。

6.根據權利要求4所述的方法，其特征在于，確定所述內容信息在所述材料數據中的視覺表現特征的過程，包括：

若所述內容信息為文本信息，則對所述文本信息進行分詞，并確定每一分詞在所述材料數據中所處的圖像區域，基于所述圖像區域確定每一分詞的視覺表現特征；

若所述內容信息為多媒體信息，確定所述多媒體信息在所述材料數據中所處的圖像區域，基于所述圖像區域確定所述多媒體信息的視覺表現特征。