[發明專利]一種智能語言教育系統及方法

在審

• 申請號: 201910871748.1
• 申請日: 2019-09-16
• 公開（公告）號: CN110930794A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 葉飛
• 申請（專利權）人: 上海少立教育科技有限公司
• 主分類號: G09B7/00
• 分類號: G09B7/00;G06K9/00;G10L17/14;G10L17/22;G10L15/25
• 代理公司: 上海宏京知識產權代理事務所(普通合伙) 31297
• 代理人: 李敏

1.一種智能語言教育系統，其特征在于，所述系統包括：語音采集單元、圖像采集單元、圖像處理單元、語音處理單元、處理器和信息輸出設備；所述處理器分別信號連接于語音采集單元、圖像采集單元、語音處理單元和信息輸出設備；所述語音采集單元，用于采集用戶發出的語音信息；所述圖像采集單元，用于采集用戶的圖像信息；所述圖像處理單元，用于根據采集到的用戶的圖像信息，分析用戶的發音是否標準，生成第一分析結果；所述語音處理單元，用于根據采集到的用戶發出的語音信息，分析用戶的發音是否標準，生成第二分析結果；所述處理器綜合第一分析結果和第二分析結果，判斷用戶的發音是否標準，生成最終的結果，將結果發送到信息輸出設備；所述信息輸出設備根據接收到的最終的結果，發出提示信息。

2.如權利要求1所述的系統，其特征在于，所述圖像處理單元根據采集到的圖像信息分析用戶的發音是否準確的方法執行以下步驟：

步驟1：對采集到的圖像依次進行圖像強化、圖像去噪和圖像二值化處理，生成預處理圖像；

步驟2：在預處理圖像中，確定圖像中人臉的位置，確定圖像中人臉位置后，將圖像中的人臉截取出來；

步驟3：在截取了人臉的圖像中，確定人臉圖像中，人的嘴唇的位置，將圖像中的人的嘴唇截取出來；

步驟4：采用神經網絡，對截取出來的嘴唇進行分類識別，判斷采集到的圖像中的人的嘴唇的發音是否和預設的發音匹配，根據判斷結果，生成第一分析結果。

3.如權利要求2所述的系統，其特征在于，所述語音處理單元根據采集到的圖像信息分析用戶的發音是否準確的方法執行以下步驟：

步驟S1：對采集到的聲音依次進行聲音強化、聲音去噪和聲音二值化處理，生成預處理聲音；

步驟S2：將預處理聲音和預設的聲音進行聲紋匹配識別，根據匹配識別的結果，生成第二分析結果。

4.如權利要求3所述的系統，其特征在于，所述處理器綜合第一分析結果和第二分析結果，判斷用戶的發音是否標準，生成最終的結果的方法執行以下步驟：

步驟A1：設定第一分析結果的權值和第二分析結果的權值；

步驟A2：根據設定的第一分析結果的權值和第二分析結果的權值，將第一分析結果和第二分析結果取加權平均，加權平均后的結果，作為最終的結果。

5.一種基于權利要求1至4之一所述系統的智能語言教育方法，其特征在于，所述方法執行以下步驟：

步驟B1：系統初始化，用戶根據信息輸出設備上顯示的圖像和/或發出的聲音，根據提示，進行語音練習；

步驟B2：語音采集單元采集用戶發出的語音信息；圖像采集單元采用戶的圖像信息；

步驟B3：圖像采集單元對采集到的用戶的圖像信息進行分類識別，判斷用戶的發音是否準確，生成第一分析結果；

步驟B4：語音采集單元對采集到的用戶的語音信息進行匹配識別，判斷用戶的發音是否準確，生成第二分析結果；

步驟B5:：處理器根據第一分析結果和第二分析結果，生成最終的結果，判斷用戶發音是否準確，將結果發送到信息輸出設備，對用戶進行提示。

6.如權利要求5所述的方法，其特征在于，所述步驟B3中，圖像采集單元對采集到的用戶的圖像信息進行分類識別，判斷用戶的發音是否準確，生成第一分析結果的方法包括：對采集到的圖像依次進行圖像強化、圖像去噪和圖像二值化處理，生成預處理圖像；在預處理圖像中，確定圖像中人臉的位置，確定圖像中人臉位置后，將圖像中的人臉截取出來；在截取了人臉的圖像中，確定人臉圖像中，人的嘴唇的位置，將圖像中的人的嘴唇截取出來；采用神經網絡，對截取出來的嘴唇進行分類識別，判斷采集到的圖像中的人的嘴唇的發音是否和預設的發音匹配，根據判斷結果，生成第一分析結果。

7.如權利要求6所述的方法，其特征在于，所述步驟B4：語音采集單元對采集到的用戶的語音信息進行匹配識別，判斷用戶的發音是否準確，生成第二分析結果的方法包括：對采集到的聲音依次進行聲音強化、聲音去噪和聲音二值化處理，生成預處理聲音；將預處理聲音和預設的聲音進行聲紋匹配識別，根據匹配識別的結果，生成第二分析結果。

8.如權利要求7所述的方法，其特征在于，所述步驟B5：處理器根據第一分析結果和第二分析結果，生成最終的結果，判斷用戶發音是否準確的方法包括：設定第一分析結果的權值和第二分析結果的權值；根據設定的第一分析結果的權值和第二分析結果的權值，將第一分析結果和第二分析結果取加權平均，加權平均后的結果，作為最終的結果。