[發明專利]一種情感交互的照明系統

有效

• 申請號: 202010783623.6
• 申請日: 2020-08-06
• 公開（公告）號: CN111901943B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 包瑞;郭睿倩;劉姝;賀洪朝;戴聰棋
• 申請（專利權）人: 復旦大學;豪爾賽科技集團股份有限公司
• 主分類號: H05B47/105
• 分類號: H05B47/105;H05B47/165;G06K9/00;G06K9/46;G06K9/62;G06N3/04;G10L15/06;G10L15/14;G10L15/16;G10L25/63
• 代理公司: 北京天達知識產權代理事務所(普通合伙) 11386
• 代理人: 馬東偉

1.一種情感交互的照明系統，其特征在于，包括，

信息采集模塊，用于采集目標人物的聲音及圖像；

信息識別模塊，用于對采集的所述聲音及圖像進行識別，獲得目標人物的聲音信息、表情信息及動作信息；

處理控制模塊，用于解析所述目標人物的聲音信息、表情信息及動作信息獲得目標人物的情感狀態，并基于燈光及輔助設備的情感響應模式根據目標人物的情感狀態控制燈光及輔助設備做出響應反饋；

所述處理控制模塊包括情感解析子模塊，所述情感解析子模塊，用于解析所述目標人物的聲音信息、表情信息及動作信息獲得所述目標人物的情感狀態；

所述情感解析子模塊包括聲音解析模型、表情解析模型及動作解析模型；

將所述聲音信息、表情信息及動作信息作為輸入量分別輸入所述聲音解析模型、表情解析模型及動作解析模型獲得對應的聲音值、表情值及動作值，不同的值表示目標人物不同的情感狀態；所述聲音信息包括目標人物聲音的音高、短時平均能量值、時長、基頻及共振峰，所述表情信息包括目標人物面部特征點的距離變化、變形程度及曲率，所述動作信息包括目標人物的手部動作特征、手臂動作特征、身體動作特征及腿部動作特征；

所述獲得所述目標人物的情感狀態，包括：

當表情值表示的情感狀態不是中性時，則將所述表情表示的情感狀態作為目標人物的情感狀態；

當表情值表示的情感狀態是中性，且聲音值表示的情感狀態不是中性時，則將所述聲音值表示的情感狀態作為目標人物的情感狀態；

當表情值表示的情感狀態是中性，聲音值表示的情感狀態是中性，且動作值表示的情感狀態不是中性，則將所述動作值表示的情感狀態作為目標人物的情感狀態；

當表情值表示的情感狀態、聲音值表示的情感狀態及動作值表示的情感狀態均是中性時，則目標人物的情感狀態為中性。

2.根據權利要求1所述的照明系統，其特征在于，所述處理控制模塊還包括控制器、燈光及輔助設備控制子模塊；

所述控制器，用于發送與所述情感狀態相對應的控制信號至所述燈光及輔助設備控制子模塊；

所述燈光及輔助設備控制子模塊，用于根據所述控制信號控制燈光及輔助設備做出響應反饋。

3.據權利要求2所述的照明系統，其特征在于，所述燈光及輔助設備的情感響應模式包括：

直接模式，工作于該模式的燈光及輔助設備做出與所述目標人物情感狀態相同或相似的響應反饋；

對話模式，工作于該模式的燈光及輔助設備根據所述目標人物的情感狀態做出仿生的響應反饋；

告警模式，工作于該模式的燈光及輔助設備對存在安全隱含的所述目標人物情感狀態做出告警的響應反饋。

4.據權利要求1-3任一項所述的照明系統，其特征在于，所述信息識別模塊通過下述方式識別獲得目標人物的聲音信息、表情信息及動作信息：

利用訓練好的聲音識別模型對采集到的聲音進行語音識別獲得目標人物的聲音信息；

利用訓練好的人臉表情識別模型基于采集到的圖像中的目標人物的面部幾何特征或局部紋理變化對其進行識別，以獲得所述目標人物的表情信息；

利用訓練好的動作識別模型提取采集到的圖像中的目標人物的動作特征，以獲得所述目標人物的動作信息。

5.根據權利要求4所述的照明系統，其特征在于，所述語音識別包括情緒韻律識別和非言語情緒識別；

所述情緒韻律識別包括識別目標人物聲音的音高、短時平均能量值、時長、基頻及共振峰。

6.根據權利要求4所述的照明系統，其特征在于，通過下述方式訓練動作識別模型：

分別采集不同人物在不同情感狀態下的圖像；

從所述圖像中提取所述目標人物的動作特征，所述動作特征包括手部動作特征、手臂動作特征、身體動作特征及腿部動作特征；

將所述圖像作為所述動作識別模型的輸入量，對應的手部動作特征、手臂動作特征、身體動作特征及腿部動作特征作為輸出量，對所述動作識別模型進行訓練，獲得訓練好的動作識別模型。