[發明專利]唇語識別系統及方法

在審

• 申請號: 201910220908.6
• 申請日: 2019-03-22
• 公開（公告）號: CN111724786A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 田發景
• 申請（專利權）人: 上海博泰悅臻網絡技術服務有限公司
• 主分類號: G10L15/25
• 分類號: G10L15/25;G10L15/22;G06K9/00
• 代理公司: 上海波拓知識產權代理有限公司 31264
• 代理人: 張媛

1.一種唇語識別系統，其特征在于，其包括：唇語訓練模型建立模塊、實時唇語采集模塊、唇語預測模塊以及喚醒模塊，其中，

所述唇語訓練模型建立模塊，與所述唇語預測模塊相連，用于根據大量唇語圖像和對應的喚醒詞進行學習，以預先建立唇語訓練模型，并將預先建立的唇語訓練模型提供給所述唇語預測模塊；

所述實時唇語采集模塊，與所述唇語預測模塊相連，用于實時采集用戶的唇部視頻圖像，并將采集的唇部視頻圖像提供給所述唇語預測模塊；

所述唇語預測模塊，與所述喚醒模塊相連，用于對唇部視頻圖像進行自動分析，提取唇部圖像特征值，根據唇語訓練模型和唇部圖像特征值得到預測結果，將預測結果提供給所述喚醒模塊；

所述喚醒模塊，用于根據所述唇語預測模塊提供的預測結果生成控制指令，以控制相應的車載系統。

2.根據權利要求1所述的唇語識別系統，其特征在于，所述唇語訓練模型建立模塊還用于采集不同年齡段、不同性別的人群對相同喚醒詞進行語音訓練的唇部圖像，并根據采集的唇部圖像采用循環神經網絡算法得到唇語訓練模型。

3.根據權利要求2所述的唇語識別系統，其特征在于，所述唇語訓練模型包括唇部圖像特征值和對應的喚醒詞，所述唇部圖像特征值包括唇部形狀。

4.根據權利要求1所述的唇語識別系統，其特征在于，所述實時唇語采集模塊為設置于車內上方的攝像頭。

5.根據權利要求1所述的唇語識別系統，其特征在于，所述唇語識別系統還包括語音識別模塊，所述實時唇語采集模塊還用于將采集的唇部視頻圖像提供給所述語音識別模塊，所述語音識別模塊用于對唇部視頻圖像進行語音識別，以得到語音識別結果后提供給所述喚醒模塊，所述喚醒模塊還用于根據所述唇語預測模塊提供的預測結果和所述語音識別模塊提供的語音識別結果生成控制指令，以控制相應的車載系統。

6.根據權利要求5所述的唇語識別系統，其特征在于，所述喚醒模塊還用于根據預測結果和語音識別結果在不同環境條件下訓練出環境權重，并根據所述環境權重、預測結果和語音識別結果生成控制指令，以控制相應的車載系統。

7.一種唇語識別方法，其特征在于，其包括：

根據大量唇語圖像和對應的喚醒詞進行學習，以預先建立唇語訓練模型；

實時采集用戶的唇部視頻圖像；

對唇部視頻圖像進行自動分析，提取唇部圖像特征值，根據唇語訓練模型和唇部圖像特征值得到預測結果；

根據預測結果生成控制指令，以控制相應的車載系統。

8.根據權利要求7所述的唇語識別方法，其特征在于，根據大量唇語圖像和對應的喚醒詞進行學習，以預先建立唇語訓練模型，包括：

采集不同年齡段、不同性別的人群對相同喚醒詞進行語音訓練的唇部圖像，并根據采集的唇部圖像采用循環神經網絡算法得到唇語訓練模型。

9.根據權利要求7所述的唇語識別方法，其特征在于，根據預測結果生成控制指令，以控制相應的車載系統，包括：

對唇部視頻圖像進行語音識別，以得到語音識別結果；

根據預測結果和語音識別結果生成控制指令，以控制相應的車載系統。

10.根據權利要求9所述的唇語識別方法，其特征在于，還包括：

根據預測結果和語音識別結果在不同環境條件下訓練出環境權重，并根據所述環境權重、預測結果和語音識別結果生成控制指令，以控制相應的車載系統。