[發(fā)明專利]智能兒童陪伴教育機器人

有效

• 申請?zhí)枺?/td>: 202110304626.1
• 申請日: 2021-03-22
• 公開（公告）號: CN112949554B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設計）人: 陽傳紅
• 申請（專利權）人: 湖南中凱智創(chuàng)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F40/211
• 代理公司: 廣州市紅荔專利代理有限公司 44214
• 代理人: 胡昌國

本發(fā)明涉及機器人技術領域，公開一種智能兒童陪伴教育機器人，以實現(xiàn)兒童發(fā)音過程中的嘴型進行訓練和交互。本發(fā)明機器人的處理器在執(zhí)行相應的計算機程序時實現(xiàn)下述步驟：在訓練過程中，同步采集音視頻數(shù)據(jù)，并基于音頻的切片來同步人臉圖像數(shù)據(jù)流的切片，確保了人臉圖像數(shù)據(jù)流切片的精準度；同時考慮到漢字在發(fā)音過程中首尾分別是發(fā)和收的過渡階段，選取最具語言表現(xiàn)力的中間段圖像數(shù)據(jù)流進行嘴型張角的系列計算，并基于前后連續(xù)的嘴型張角數(shù)據(jù)序列與訓練文本對應的標準張角數(shù)據(jù)序列根據(jù)相鄰漢字之間的嘴型張角變化趨勢和相鄰句子之間的嘴型張角變化趨勢進行對比分析；確保了最終判斷結果的有效性和可靠性。

技術領域

本發(fā)明涉及機器人技術領域，尤其涉及一種智能兒童陪伴教育機器人。

背景技術

當前，隨著人臉識別技術、語音及圖像識別技術、視頻交互及大數(shù)據(jù)分析技術的不斷成熟，這些技術與家庭機器人主要應用場景可以做到高度耦合，為用戶提供良好的使用體驗。同時，技術的進步使得機器人的生產(chǎn)成本不斷降低，為規(guī)模化提供了可能性。

2019年，被視為兒童機器人元年，隨后兒童機器人被更多人熟知，并開始井噴式發(fā)展。兒童陪伴機器人單價也從幾百至幾萬元人民幣不等。兒童教育重在內(nèi)容和交互方式。傳統(tǒng)兒童玩具的語音對話主要功能在講故事，打著陪伴的口號，實際上沒有實際的功能。而智能機器人添加了更多人性化功能，與孩子充分互動，符合孩子的行為習慣，具備語音對話、講故事、背古詩、唱兒歌、互動等功能，顛覆傳統(tǒng)早教，提升孩子表達、邏輯、音樂、藝術等多方面的能力，是孩子的貼心小伙伴和家庭教師。

目前，語音識別與交互技術已非常成熟；但在演說、主持等廣泛的兒童興趣愛好中，發(fā)音過程中的嘴型也非常重要，不同的漢字往往對應不同的嘴型；即使同一漢字，由于多音字、不同使用場景中的感情色彩、聲調(diào)等變化也存在嘴型上的差異，目前的機器人中還缺乏對兒童發(fā)音的嘴型進行訓練和交互的功能。

發(fā)明內(nèi)容

本發(fā)明目的在于公開一種智能兒童陪伴教育機器人，以實現(xiàn)兒童發(fā)音過程中的嘴型進行訓練和交互。

為達上述目的，本發(fā)明公開一種智能兒童陪伴教育機器人，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)下述步驟：

調(diào)取訓練文本并經(jīng)顯示屏向用戶顯示所述訓練文本，所述訓練文本包括至少兩個嘴型整體變化幅度不同的句子，且各句子中包括至少兩個嘴型不同的漢字；

采集用戶同步的音頻數(shù)據(jù)流和包括嘴型的人臉圖像數(shù)據(jù)流；

將所述音頻數(shù)據(jù)流根據(jù)所述訓練文本的漢字和標點符號分布情況及各漢字所對應的標準音頻特征進行切片，獲取與單個漢字一一對應的各音頻數(shù)據(jù)切片的時間戳信息；

根據(jù)各所述音頻數(shù)據(jù)切片的時間戳信息對所述人臉圖像數(shù)據(jù)流進行切片，建立各圖像數(shù)據(jù)切片與對應漢字之間的映射關系；

對每個圖像數(shù)據(jù)切片，篩選處于中間1/3時間段的圖像數(shù)據(jù)幀，從所篩選出的各圖像數(shù)據(jù)幀中識別并提取出張開的嘴型輪廓信息，根據(jù)所述嘴型輪廓信息確定各特征點的坐標位置，所述特征點至少包括嘴型內(nèi)側兩邊嘴角處的A、B點以及上下嘴唇內(nèi)側中間處的C、D點；并根據(jù)所述A、B點及C、D點坐標位置計算各圖像幀的嘴型張角；取同一切片中所計算嘴型張角的平均值為相映射漢字的嘴型張角最終值；

按時間先后順序，將計算得出的各所述嘴型張角最終值形成對應所述訓練文本的嘴型張角數(shù)據(jù)序列；

將實際的嘴型張角數(shù)據(jù)序列與所述訓練文本對應的標準張角數(shù)據(jù)序列根據(jù)相鄰漢字之間的嘴型張角變化趨勢和相鄰句子之間的嘴型張角變化趨勢進行對比分析，判斷出嘴型待糾正的單字和句子，并將判斷結果經(jīng)所述顯示屏向用戶輸出并顯示；其中，單個句子整體的嘴型張角取所管轄的各漢字相鄰張角變化幅度絕對值的平均值或均方根，嘴型張角為在以ACBD為頂點組成的四邊形中∠CAD、∠CBD、∠ACB或∠ADB中的任意一個。