[發明專利]語音識別方法、裝置、介質及電子設備

有效

• 申請號: 202010873809.0
• 申請日: 2020-08-26
• 公開（公告）號: CN111968647B
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 殷翔
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/06;H04N21/4402
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賈會玲

1.一種語音識別方法，其特征在于，包括：

獲取目標視頻數據，所述目標視頻數據包括目標音頻數據和目標圖像數據；

將所述目標音頻數據輸入至語音識別模型中，以得到所述目標音頻數據對應的第一文本數據；

將所述目標圖像數據輸入至描述信息生成模型中，以通過所述描述信息生成模型提取所述目標圖像數據的特征信息，并根據所述特征信息，生成用于描述所述目標圖像數據的第二文本數據；

根據所述第二文本數據，對所述第一文本數據進行修正，得到修正后的第一文本數據；

所述語音識別模型和所述描述信息生成模型通過如下方式訓練得到：

獲取第一參考文本數據；

通過將所述第一參考文本數據、所述語音識別模型的輸出以及所述描述信息生成模型的輸出作為語音合成模型的輸入，將所述語音合成模型的輸出作為所述語音識別模型的輸入，將所述第一參考文本數據作為所述語音識別模型的目標輸出，將所述第一參考文本數據、所述語音識別模型的輸出以及所述描述信息生成模型的輸出作為圖像生成模型的輸入，將所述圖像生成模型的輸出作為所述描述信息生成模型的輸入，將所述第一參考文本數據作為所述描述信息生成模型的目標輸出的方式進行模型訓練，以得到所述語音識別模型和所述描述信息生成模型。

2.根據權利要求1所述的方法，其特征在于，在進行模型訓練之前，所述方法還包括：

對所述語音識別模型和所述描述信息生成模型進行預訓練。

3.根據權利要求2所述的方法，其特征在于，所述對所述語音識別模型和所述描述信息生成模型進行預訓練，包括：

獲取第二參考文本數據；

通過將所述第二參考文本數據和所述語音識別模型的輸出作為所述語音合成模型的輸入，將所述語音合成模型的輸出作為所述語音識別模型的輸入，將所述第二參考文本數據作為所述語音識別模型的目標輸出的方式對所述語音識別模型進行預訓練；

通過將所述第二參考文本數據、所述描述信息生成模型的輸出以及預訓練后所得的語音識別模型的輸出作為所述圖像生成模型的輸入，將所述圖像生成模型的輸出作為所述描述信息生成模型的輸入，將所述第二參考文本數據作為所述描述信息生成模型的目標輸出的方式對所述描述信息生成模型進行預訓練。

4.根據權利要求2所述的方法，其特征在于，所述對所述語音識別模型和所述描述信息生成模型進行預訓練，包括：

獲取第二參考文本數據；

通過將所述第二參考文本數據和所述描述信息生成模型的輸出作為所述圖像生成模型的輸入，將所述圖像生成模型的輸出作為所述描述信息生成模型的輸入，將所述第二參考文本數據作為所述描述信息生成模型的目標輸出的方式對所述描述信息生成模型進行預訓練；

通過將所述第二參考文本數據、所述語音識別模型的輸出以及預訓練后所得的描述信息生成模型的輸出作為所述語音合成模型的輸入，將所述語音合成模型的輸出作為所述語音識別模型的輸入，將所述第二參考文本數據作為所述語音識別模型的目標輸出的方式對所述語音識別模型進行預訓練。