[發明專利]一種基于人臉表情識別的智能陪伴機器人

在審

• 申請號: 201810876641.1
• 申請日: 2018-08-03
• 公開（公告）號: CN109159129A
• 公開（公告）日: 2019-01-08
• 發明（設計）人: 韋玥
• 申請（專利權）人: 深圳市益鑫智能科技有限公司
• 主分類號: B25J11/00
• 分類號: B25J11/00;B25J9/16
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于人臉表情識別的智能陪伴機器人，其特征在于，包括：所述陪伴機器人包括信息獲取模塊、表情識別模塊、互動模式選擇模塊、互動內容提取模塊以及動作響應模塊；所述信息獲取模塊，用于采集陪伴目標的人臉表情圖像，并獲取陪伴人的數字個性信息，所述數字個性信息包括數字化的所述陪伴人的信息集合；所述表情識別模塊用于對人臉表情圖像進行處理，進而識別陪伴人臉部的表情類別；所述互動模式選擇模塊用于根據識別出的臉部表情類別和所述數字個性信息，確定與陪伴目標的互動模式；所述互動內容提取模塊用于將機器人內部儲存空間內的互動內容進行重組，基于機器學習算法，提取出與所述互動模式對應的互動內容；所述動作響應模塊根據所述互動模式以及互動內容進行響應動作。

2.根據權利要求1所述的一種基于人臉表情識別的智能陪伴機器人，其特征在于，所述數字個性信息包括陪伴目標或陪伴目標監護人人為輸入過去一段時間所述陪伴目標的多種人臉表情圖像以及對應的表情類別，還包括人為輸入或設定的與所述表情類別對應的互動模式以及與所述互動模式對應的互動內容數據包。

3.根據權利要求2所述的一種基于人臉表情識別的智能陪伴機器人，其特征在于，所述互動模式選擇模塊具體為依據識別出的表情類別，在所述數字個性信息中選擇出與所述表情類別對應的互動模式。

4.根據權利要求3所述的一種基于人臉表情識別的智能陪伴機器人，其特征在于，所述互動內容提取模塊具體為在與所述互動模式對應的互動內容數據包中通過隨機算法隨機篩選出多個所述互動內容，將多個所述互動內容進行整合排序，輸出給動作響應模塊進行響應。

5.根據權利要求1所述的一種基于人臉表情識別的智能陪伴機器人，其特征在于，所述表情識別模塊包括：表情圖像預處理單元、圖像分割單元、表情特征提取單元、表情識別單元；所述圖像預處理單元用于將輸入的人臉表情圖像進行去噪平滑處理，輸出目標人臉圖像；所述圖像分割單元用于對所述目標人臉圖像進行閥值分割得到特征區域；所述表情特征提取單元用于處理所述特征區域從所述特征區域中提取出反映人臉表情的特征向量；所述表情識別單元基于機器學習算法以所述特征向量為分類器的輸入，輸出識別出的表情類別。

6.根據權利要求5所述的一種基于人臉表情識別的智能陪伴機器人，其特征在于，所述圖像分割單元對所述目標人臉圖像進行閥值分割來獲取人臉對應的特征區域的具體過程為：

(1)對所述目標人臉圖像進行處理，并分別獲取與所述目標人臉圖像對應的經歸一化的灰度圖像H(u,v)和歸一化的梯度圖像T(u,v)；并基于此，建立灰梯度概率聯合矩陣P_C；其中u,v分別為所述目標人臉圖像中的任一個像素點的橫坐標值與縱坐標值；H(u,v)為像素點(u,v)處的灰度值；T(u,v)為像素點(u,v)的梯度值；

(2)所述灰梯度聯合矩陣P_C為一個N_h×N_t的矩陣；計算尋找最優閥值(m,n)將矩陣分割，得到灰度值H(u,v)>m且梯度值T(u,v)>n的子矩陣，其中，m為圖像灰度級的分割值，n為圖像梯度級的分割級；

對最優閥值進行求取的計算公式為：

式中，所述(m,n)為最優分割閥值，所述p_ij為灰梯度概率聯合矩陣P_C中第i行第j列的元素值，通過可計算得到；c_ij代表著使得圖像中灰度值H(u,v)＝i且梯度值T(u,v)＝j的像素點的個數；N_h為設定的最大的灰度級；N_t為設定的最大梯度級；m為對應圖像灰度級的分割值，n為對應圖像梯度級的分割級；

(3)根據所述最優閥值對所述目標人臉圖像進行分割得到多個局部特征區域；然后基于數學形態學的算法對局部特征區域依次進行膨脹運算，使得特征區域連通；然后通過形態學閉合運算對連通后的特征區域進行平滑，最后通過二值圖像處理得到人臉目標圖像的特征區域。