[發明專利]一種玩具舞蹈機器人的控制方法和系統

在審

• 申請號: 202210384929.3
• 申請日: 2022-04-13
• 公開（公告）號: CN114699777A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 謝軍;仇飛
• 申請（專利權）人: 南京曉莊學院
• 主分類號: A63H13/04
• 分類號: A63H13/04;G06V40/16;G10L15/06;G10L15/16;G10L15/22
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 朱江

1.一種玩具舞蹈機器人的控制方法，其特征在于，包括如下步驟：

通過語音采集裝置采集用戶的語音信息，將所述語音信息導入到預置的語音識別模型進行語音識別，確定出相應語音信息的聲音識別結果；

當聲音識別結果匹配時，啟動圖像采集裝置；

圖像采集裝置移動到設定位置并采集圖像，將所述圖像信息導入到預置的圖像識別模型中，識別出圖像中的面部表情分類；

當面部表情分類匹配時，啟動玩具舞蹈機器人；

根據結束指令，關閉玩具舞蹈機器人。

2.根據權利要求1所述的一種玩具舞蹈機器人控制方法，其特征在于，所述預置的語音識別模型的訓練方法，具體為：

獲取多個歷史語音信號、所述歷史語音信號對應的基礎聲音特征以及對應的聲音標簽；

利用獲取的多個歷史語音信號、所述歷史語音信號對應的基礎聲音特征以及對應的聲音標簽，訓練所述語音識別模型；

語音識別模型中包括依次相連的編碼層和輸出層，編碼層具體包括：依次相連的門控循環單元網絡層，深度神經網絡層；其中，門控循環單元網絡層中包括多個依次相連的雙向門控循環單元。

3.根據權利要求1所述的一種玩具舞蹈機器人控制方法，其特征在于，將所述語音信息導入到預置的語音識別模型進行語音識別，確定出相應語音信息的聲音識別結果，具體為：

根據語音信息提取對應的基礎聲音特征；

將語音信息和對應的基礎聲音特征輸入到訓練好的語音識別模型中；

語音識別模型的輸出層輸出聲音識別結果。

4.根據權利要求1所述的一種玩具舞蹈機器人控制方法，其特征在于，將所述圖像信息導入到預置的圖像識別模型中，識別出圖像中的面部表情分類之前還包括對圖像進行預處理，具體為：

對待識別的圖像進行歐拉放大處理；

利用中值濾波算法對歐拉放大后的圖像進行去噪處理，

利用Adaboost算法檢測圖像中的人臉，并進行裁剪，然后利用雙線性差值算法實現圖像尺寸的歸一化。

5.根據權利要求4所述的一種玩具舞蹈機器人控制方法，其特征在于，預置的圖像識別模型的訓練方法，具體為：

獲取待識別人臉圖像以及人臉中的關鍵位置特征向量；

將待識別人臉圖像輸入到訓練完成后的卷積神經網絡中，得到用于表示待識別人臉圖像的人臉特征向量；

利用待識別人臉圖像、人臉中的關鍵位置特征向量、人臉特征向量以及對應的人臉圖像標簽，訓練圖像識別模型；

所述圖像識別模型為全連接層和歸一化指數函數結合的分類模型。

6.根據根據權利要求5所述的一種玩具舞蹈機器人控制方法，其特征在于，將所述圖像信息導入到預置的圖像識別模型中，識別出圖像中的面部表情分類，具體包括：

獲取預處理后的圖像中人臉的關鍵位置特征向量；并輸入到訓練完成后的卷積神經網絡中，得到用于表示待識別人臉圖像的人臉特征向量；

將預處理后的圖像、人臉的關鍵位置特征向量以及人臉特征向量輸入到圖像識別模型中，識別出表情分類。

7.一種玩具舞蹈機器人的控制系統，其特征在于，包括：

第一識別單元：通過語音采集裝置采集用戶的語音信息，將所述語音信息導入到預置的語音識別模型進行語音識別，確定出相應語音信息的聲音識別結果；

圖像采集啟動單元：當聲音特征匹配時，啟動圖像采集裝置；

第二識別單元：面部圖像采集裝置移動到設定位置并采集圖像，將所述圖像信息導入到預置的圖像識別模型中，識別出圖像中的面部表情分類；

機器人啟動單元：當面部表情特征匹配時，啟動玩具舞蹈機器人；

機器人關閉單元：根據結束指令，關閉玩具舞蹈機器人。

8.一種電子設備，其特征在于，包括：存儲器，處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其中，所述處理器執行所述計算機程序時可以實現權利要求1至6任一所述的方法步驟。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現權利要求1-6任一所述的方法步驟。