[發明專利]一種兒童智能對話學習方法、系統及電子設備

在審

• 申請號: 201710138759.X
• 申請日: 2017-03-09
• 公開（公告）號: CN107992507A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 何嘉斌;顧嘉唯;常豐峰
• 申請（專利權）人: 北京物靈智能科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/451;G06F3/16;G06K9/00;G06N3/04
• 代理公司: 北京風雅頌專利代理有限公司11403
• 代理人: 李莎,李弘

1.一種兒童智能對話學習方法，其特征在于，應用于兒童智能學習機，該智能學習機上設置有攝像頭，并在所述智能學習機中預設每種待學習的目標物對應的語料庫；該方法包括：

通過預設引導語音引導用戶調整智能學習機，使智能學習機上的攝像頭朝向所要學習的目標物；

通過所述攝像頭獲取圖像，分析所述圖像，判斷該圖像是否符合目標物圖像要求，若不符合繼續通過所述引導語音引導用戶調整所述智能學習機；

若符合要求，則對所述目標物圖像進行識別，獲取目標物類型；

根據所述目標物類型，獲取與目標物對應的語料庫；

播放所述語料庫中與目標物對應的多媒體文件并且基于所述語料庫與用戶進行交互對話學習。

2.根據權利要求1所述的方法，其特征在于，所述分析所述圖像，判斷該圖像是否符合目標物圖像要求的步驟包括：

對獲取的所述圖像進行分析，得到所述圖像內識別出的可能目標物；

依次對每個可能目標物分別提示用戶當前的可能目標物是否屬于用戶所要學習的目標物；

根據用戶的反饋，確定所述圖像中是否包含用戶所要學習的目標物；

若是，則對所述目標物圖像進行識別并獲取用戶所要學習的目標物的類型；否則，提示用戶沒有找到目標物，繼續通過所述引導語音引導用戶調整所述智能學習機。

3.根據權利要求2所述的方法，其特征在于，所述對獲取的所述圖像進行分析，得到所述圖像內識別出的可能目標物的步驟包括：

對每個識別出的可能目標物進行分析，獲取每個可能目標物的基礎特征，所述基礎特征包括輪廓、顏色；

將每個所述可能目標物的基礎特征與智能學習機中預存的目標物基礎特征庫進行相識度比對；

判斷相識度是否超出預設的相似度閾值，若是，則保留該可能目標物，否則，刪除該可能目標物或排除該可能目標物。

4.根據權利要求1所述的方法，其特征在于，所述對所述目標物圖像進行識別，獲取目標物類型的步驟還包括：

采用深度神經網絡的模型，輸入的圖像通過卷積層和池化層提取圖像特征，通過全連接層進一步優化圖像特征；

通過分類器以及提取的圖像特征對所述目標物圖像進行分類；

根據分類結果獲取目標物的類型。

5.根據權利要求1所述的方法，其特征在于，所述播放所述語料庫中與目標物對應的多媒體文件并且基于所述語料庫與用戶進行交互對話學習的步驟還包括：

在所述語料庫中調取并播放與目標物對應的知識性多媒體文件；

調取并播放知識性多媒體文件對應的問題多媒體文件；

根據播放的問題多媒體文件，確定語音識別的關鍵詞組；

通過麥克風獲取用戶的應答音頻；

對應答音頻進行識別并基于所述關鍵詞組進行關鍵詞檢索，判斷用戶的應答是否正確；

若檢測到關鍵詞，則播放回答正確對應的多媒體文件，若沒有檢測到關鍵詞，則播放回答錯誤對應的多媒體文件。

6.一種兒童智能對話學習系統，其特征在于，包括：

引導模塊，用于通過預設引導語音引導用戶調整智能學習機，使智能學習機上的攝像頭朝向所要學習的目標物；

圖像獲取模塊，用于通過所述引導模塊的引導以及用戶的操作指令獲取圖像，將獲取的圖像發送給分析識別模塊；

分析識別模塊，用于接收圖像獲取模塊發送的目標物圖像，分析所述圖像，判斷該圖像是否符合目標物圖像要求，若不符合繼續通過所述引導語音引導用戶調整所述智能學習機；若符合要求，則對所述目標物圖像進行識別，獲取目標物類型；將識別得到的目標物類型發送給語料模塊；

語料模塊，用于接收分析識別模塊發送的目標物類型，根據所述目標物類型獲取與目標物對應的語料庫；

對話模塊，用于播放所述語料模塊的語料庫中與目標物對應的多媒體文件并且基于所述語料庫與用戶進行交互對話學習。