[發明專利]一種融合式語音識別方法、裝置、系統、設備和存儲介質

在審

• 申請號: 202010767361.4
• 申請日: 2020-08-03
• 公開（公告）號: CN111883130A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 陳曉松;李旭濱
• 申請（專利權）人: 上海茂聲智能科技有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/25;G10L15/26;G10L15/20;G10L15/30
• 代理公司: 上海領譽知識產權代理有限公司 31383
• 代理人: 車超平;王琰

1.一種融合式語音識別方法，應用于躁雜場景，其特征在于，包括：

獲取第一語音數據流；

獲取圖像數據，在所述圖像數據包括用戶的人臉圖像數據以及用戶的唇動圖像數據的情況下，生成第一降噪增強指令；

根據所述第一降噪增強指令，對所述第一語音數據流進行處理以獲得第二語音數據流；

識別所述第二語音數據流，以生成語音識別結果。

2.根據權利要求1所述的融合式語音識別方法，其特征在于，在所述圖像數據包括用戶的人臉圖像數據以及用戶的唇動圖像數據的情況下，所述方法還包括：

生成數據流開啟指令；

根據所述數據流開啟指令，傳輸所述第二語音數據流。

3.根據權利要求1所述的融合式語音識別方法，其特征在于，識別第二語音數據流，以生成語音識別結果包括：

在所述圖像數據不包括用戶的所述唇動圖像數據的情況下，在所述第二語音數據流插入終止標識符；

對所述終止標識符之前的所述第二語音數據流進行識別，以生成語音識別結果。

4.根據權利要求1所述的融合式語音識別方法，其特征在于，在獲取圖像之后，所述方法還包括：

在所述圖像數據不包括用戶的人臉圖像數據的情況下，生成銷毀指令；

根據所述銷毀指令，銷毀所述第一語音數據流。

5.根據權利要求1所述的融合式語音識別方法，其特征在于，在獲取圖像之后，所述方法還包括：

在所述圖像數據包括用戶的人臉圖像數據的情況下，判斷所述用戶的停留時間；

在所述停留時間達到預設時間閾值的情況下，生成第二降噪增強指令；

根據所述第二降噪增強指令，對所述第一語音數據流進行處理以獲得第三語音數據流；

在所述圖像數據包括用戶的唇動圖像數據的情況下，生成第一降噪增強指令；

根據所述第一降噪增強指令，對所述第三語音數據流進行處理以獲得第二語音數據流。

6.一種融合式語音識別裝置，其特征在于，包括：

語音獲取單元，用于獲取第一語音數據流；

圖像獲取單元，用于獲取圖像數據；

圖像識別單元，用于識別所述圖像數據，以判斷所述圖像數據是否包括用戶的人臉圖像數據、用戶的唇動圖像數據；

指令單元，用于在所述圖像數據包括所述人臉圖像數據、所述唇動圖像數據的情況下，生成第一降噪增強指令、數據流開啟指令；

降噪單元，用于根據所述第一降噪增強指令對所述第一語音數據流進行處理以獲得第二語音數據流；

數據流控制單元，用于根據所述數據流開啟指令對所述第二語音數據流進行傳輸；

語音識別單元，用于對所述第二語音數據流進行識別以生成語音識別結果。

7.根據權利要求6所述的融合式語音識別裝置，其特征在于，還包括：

標識符單元，用于在所述圖像數據不包括所述唇動圖像數據的情況下，在所述第二語音數據流中插入終止標識符；

所述語音識別單元用于對所述終止標識符之前的的所述第二語音數據流進行識別以生成所述語音識別結果。

8.一種融合式語音識別系統，其特征在于，包括：

如權利要求6～7任一項所述的融合式語音識別裝置；

服務器，用于獲取所述融合式語音識別裝置傳輸的所述語音識別結果，并將與所述語音識別結果相對應的反饋信息傳輸至所述融合式語音識別裝置；

所述融合式語音識別裝置根據所述反饋信息與所述用戶進行交互。

9.一種計算機設備，其特征在于，包括：

至少一個處理器；

以及與所述至少一個處理器通信連接的存儲器；

其中，所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器執行權利要求1～5中任一項所述的融合式語音識別方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，該計算機程序被處理器執行時實現如權利要求1～5中任一項所述的融合式語音識別方法。