[發明專利]語音識別裝置和語音識別方法

有效

• 申請號: 201711236753.2
• 申請日: 2017-11-30
• 公開（公告）號: CN108133709B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 常盤博之;湯本健太;野中修
• 申請（專利權）人: 奧林巴斯株式會社
• 主分類號: G10L15/25
• 分類號: G10L15/25;G10L15/08;G10L15/26
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 黃綸偉;朱麗娟

1.一種語音識別裝置，其具有：

取得部，其取得對人發出的語音進行錄音而得到的音頻流、以及拍攝所述人的至少嘴部而得到的視頻流；

語音識別部，其根據所述音頻流，識別包含所述人發出的輔音在內的語音；

輔音估計部，其根據所述視頻流的所述人的嘴部的形狀，估計所述人發出的輔音，其中，所述輔音估計部根據檢測到元音的定時，確定輔音發聲幀，根據所述輔音發聲幀中的所述人的嘴部的形狀，估計所述人發出的輔音，該輔音發聲幀是在元音之前、且被估計為所述視頻流中的所述人發出了輔音的幀；以及

輔音確定部，其根據由所述輔音估計部估計出的輔音和由所述語音識別部識別出的輔音，來確定輔音。

2.根據權利要求1所述的語音識別裝置，其中，

所述輔音發聲幀是直到檢測出元音為止的多個幀，

所述輔音估計部根據多個所述輔音發聲幀中的所述人的嘴部的形狀變化，估計所述人發出的輔音。

3.根據權利要求2所述的語音識別裝置，其中，

所述輔音估計部將比檢測到元音的定時靠前規定時間的定時決定為所述輔音發聲幀的起始。

4.根據權利要求2所述的語音識別裝置，其中，

所述輔音估計部將開口面積成為規定值以上的定時決定為所述輔音發聲幀的起始。

5.根據權利要求2所述的語音識別裝置，其中，

所述輔音估計部將嘴部的橫寬與縱寬之比成為規定值以上的定時決定為所述輔音發聲幀的起始。

6.根據權利要求2所述的語音識別裝置，其中，

所述輔音估計部將檢測到規定音量以上的語音的定時決定為所述輔音發聲幀的起始。

7.根據權利要求2所述的語音識別裝置，其中，

所述輔音估計部將比檢測到規定音量以上的語音的定時靠前規定時間的定時決定為所述輔音發聲幀的起始。

8.根據權利要求1～7中的任意一項所述的語音識別裝置，其中，

所述輔音估計部根據所述音頻流，檢測所述人發出元音的定時。

9.根據權利要求1～7中的任意一項所述的語音識別裝置，其中，

所述輔音估計部根據所述視頻流，檢測所述人發出元音的定時。

10.根據權利要求1所述的語音識別裝置，其中，

所述語音識別裝置還具有單詞識別部，該單詞識別部根據由所述語音識別部識別出的元音、由所述輔音確定部確定的輔音和預先設定的單詞識別辭典，識別單詞。

11.根據權利要求10所述的語音識別裝置，其中，

所述語音識別裝置還具有項目選擇部，該項目選擇部選擇表示識別對象的語音的種類的項目，

所述單詞識別部根據由所述語音識別部識別出的元音、由所述輔音確定部確定的輔音、以及具有與由所述項目選擇部選擇的項目對應的單詞的單詞識別辭典，識別單詞。

12.根據權利要求11所述的語音識別裝置，其中，

所述語音識別裝置還具有顯示部，該顯示部顯示正在由所述取得部進行所述音頻流和所述視頻流的取得的情況。

13.根據權利要求12所述的語音識別裝置，其中，

所述顯示部在所述音頻流和所述視頻流的取得時，顯示由所述項目選擇部選擇的項目。

14.一種語音識別裝置中的語音識別方法，該語音識別裝置具有取得部，該取得部取得對人發出的語音進行錄音而得到的音頻流和拍攝所述人的至少嘴部而得到的視頻流，其中，

所述語音識別裝置根據所述音頻流，識別包含所述人發出的輔音在內的語音，

所述語音識別裝置根據所述視頻流的所述人的嘴部的形狀，估計所述人發出的輔音，其中，根據檢測到元音的定時，確定輔音發聲幀，根據所述輔音發聲幀中的所述人的嘴部的形狀，估計所述人發出的輔音，該輔音發聲幀是在元音之前、且被估計為所述視頻流中的所述人發出了輔音的幀，

所述語音識別裝置根據基于所述視頻流而估計出的輔音和基于所述音頻流而識別出的輔音，來確定輔音。