[發明專利]一種面部表情機器人多通道信息情感表達映射方法

在審

• 申請號: 201510504043.8
• 申請日: 2015-08-17
• 公開（公告）號: CN105046238A
• 公開（公告）日: 2015-11-11
• 發明（設計）人: 張國亮;王展妮;趙竹珺;許童童;王田
• 申請（專利權）人: 華僑大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L25/63
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭;楊鍇

技術領域

本發明涉及情感表達機器人領域，更具體地說，涉及一種面部表情機器人多通道信息情感表達映射方法。

背景技術

面部表情機器人對于實現人機自然交互，減少人類與機器人之間的情感距離，具有積極的促進意義。國內外學者對此研究方向展開大量的研究工作：具有代表性的表情機器人有美國麻省理工學院人工智能實驗室的Kismet、東京理工大學開發的SAYA機器人、美國漢森機器人技術公司的K-bot和“愛因斯坦”、英國赫特福德大學設計的Nao、日本大阪大學研究的ReplieeQ1、ReplieeQ2和GeminoidTMF、國內哈工大研究的H&F系列機器人等。

與傳統的固定工位、固定工序和固定操作場景的工業機器人不同，面部表情機器人對于交互性、智能性和自主性的要求更高，其研究涉及機械設計、自動控制、計算機智能、心理學及認知科學等多領域知識，具有典型的多學科交叉特征。這使得一些研究機構及公司雖然能夠設計出一些具有一定情感表達的面部表情機器人，但由于涉及情感表達的技術非常繁多復雜，多數的研究仍處于實驗室探索階段，目前主要存在以下兩點不足：

1、表情機器人多通道情感表達欠缺。表情機器人的情感表達涉及交叉學科，如何綜合運用多領域知識成為情感表達的一個關鍵問題。目前文獻中大多孤立地應用某一領域知識，如將人臉識別技術與表情機器人結合應用。由于只考慮了人機交互的某一方面，缺乏知識的綜合運用，使得機器人不具備多通道情感的表達的能力。

2、缺乏面向表情機器人的通用性情感表達建模方法。人類的臉部不僅運動器官眾多，而且器官運動幅度的細微瞬間變化都可能表達不同的情感。因此，在國內的表情機器人研究領域，多數的研究工作仍重點圍繞頭部的機構設計方面，對于如何將視覺表情分析、語音識別等智能技術應用于表情機器人明顯不足，尤其缺乏統一的通用性情感表達建模標準。

發明內容

本發明的目的在于克服現有技術的不足，提供一種利用語音、視覺等多通道信息在人與機器人之間進行人機交互的面部表情機器人多通道信息情感表達映射方法。

本發明的技術方案如下：

一種面部表情機器人多通道信息情感表達映射方法，預建表情庫及輸入語音參考模型、輸出語音參考模型、語音輸出庫；采集待識別的人臉圖像并通過與表情庫對比識別情感表情，采集語音輸入并通過與輸入語音參考模型對比識別聲音表情，將情感表情與聲音表情進行融合，獲得復合表情指令，面部表情機器人并根據復合表情指令通過與輸出語音參考模型對比，從語音輸出庫中選擇相應的語音流數據進行輸出；復合表情指令對應設置宏動作指令，面部表情機器人根據宏動作指令進行面部表情表達，實現表情機器人多通信信息情感表達。

作為優選，將表情庫中的表情歸類成為若干不同類別的表情組，對各個表情組中的表情圖像提取特征向量，作為訓練樣本；以特征向量構成得到表情特征空間，基于表情特征空間對待識別的人臉圖像進行識別。

作為優選，對各個表情組中的表情圖像進行Gabor特征提取，使用多個方向多個尺度的Gabor濾波器組成的濾波器組，對各個表情組中的表情圖像進行特征向量提取。

作為優選，對各個表情組的訓練樣本進行PCA降維，得到表情特征空間，并將訓練樣本投影到表情特征空間，得到各個表情組的投影系數組集合，計算各個表情組的平均向量。

作為優選，將待識別的人臉圖像投影到表情特征空間，得到當前投影系數，將當前投影系統與各個表情組的平均向量進行對比，得到與表情組數量對應的多個差值向量，當前待識別的人臉圖像識別為差值向量最小對應的表情組的類別，識別出情感表情。

作為優選，進行對各個表情組中的表情圖像提取特征向量前，對表情圖像進行預處理，分別為灰度歸一化、尺寸歸一化和直方圖均衡化。

作為優選，進行對各個表情組中的表情圖像提取特征向量前，確定表情圖像中人臉的位置，并裁剪獲得只包含表情區域的圖像。

作為優選，將語音輸入與輸入語音參考模型進行DTW分析，根據語音輸入和語調強度，做出不同語氣強度量化指標，識別出聲音表情。

作為優選，將情感表情與聲音表情進行線性融合，獲得的復合表情指令的數量為聲音表情的數量與情感表情數量的加權求和。

作為優選，將識別出的情感表情與宏動作指令建立映射關系，宏動作指令通過機械參數反映情感表情，將宏動作指令對應的情感表情預先在面部表情機器人上做離線測試，記錄面部機構相應的機械參數。

本發明的有益效果如下：