[發明專利]基于寬度學習算法的車載機器人的情感計算方法和系統

在審

• 申請號: 202210110060.3
• 申請日: 2022-01-29
• 公開（公告）號: CN114519851A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 韓子天;冉光偉;劉子鴿;李立標;張宗煜;蔡吉晨
• 申請（專利權）人: 廣州汽車集團股份有限公司;安信通科技（澳門）有限公司
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06K9/62;G06V10/774;G06V10/776
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 盧澤明

本發明公開了一種基于寬度學習算法的車載機器人的情感計算方法和系統，所述方法包括：就車輛駕駛員的用戶數據進行寬度學習算法模型訓練；將用戶數據、車輛的周邊環境數據以及汽車CAN數據同時傳輸至寬度學習算法模型內及HMM情感計算模型內；通過寬度學習算法模型對駕駛員的行為習慣進行預測，理解駕駛員意圖；將被理解的駕駛員意圖數據也傳輸至HMM情感計算模型中，進行數據預處理，將用戶數據、車輛的周邊環境數據、汽車CAN數據數據及駕駛員意圖數據均轉換為可被HMM情感計算模型理解的數學表達信息；進行駕駛員情感識別；建立HMM情感計算模型，對所述HMM情感計算模型進行矯正；輸出符合駕駛員需求的情感表達數據。

技術領域

本發明屬于車載人工智能領域，特別涉及車載機器人的情感計算方法和系統。

背景技術

車載機器人這一明確概念被提出之后，為用于提供足夠人性化的情感服務，具備察言觀色的能力，能夠與駕駛者進行情感互動，已經成為一項核心功能需求。

現有的一些技術方案已經集成了語音和圖像結合的多模態交互情感化方案，車載機器人能夠根據車內人員的語音和面部表情特征等進行智能情感計算，從而與人進行情感交互，比如讀懂用戶的心情，如果心情不好的時候，提供相應的主動式服務。

目前的情感計算技術方案主要集中在對用戶維度的多模態信息處理，根據用戶的語音、表情和動作等特征進行情感計算，這種方式能夠讀懂、聽懂或者看懂用戶的需求。

但是車載機器人的應用場景，不只是需要與用戶閑聊交流，其應用貫穿在用戶整個行車環境，除了基于表情識別、智能語音系統進行情感分析，然后提供相應的擬人化情感輸出之外，行車環境、車輛狀態等也是車載機器人情感計算的重要輸入因素，現有的車載機器人情感計算維度過于單一，機器人情感輸出往往是生硬的，帶有單一“討好”的體驗，用戶長期使用后因為其情感表達的方式單一不變，難免會產生厭煩的感覺，并不能達到好的體驗，。

發明內容

為了克服上述現有技術的不足，本發明的目的在于提供一種基于寬度學習算法的車載機器人多模態情感計算系統，能夠持續性學習，不斷提高情感計算的準確度，機器人情感表達更為擬人化，使得人機交互變得自然、流暢。

本發明的目的是通過以下技術方案實現的：

一種基于寬度學習算法的車載機器人的情感計算方法，包括以下步驟：

S1、就車輛駕駛員的用戶數據進行寬度學習算法模型訓練；

S2、將所述用戶數據、所述車輛的周邊環境數據以及所述車輛的汽車CAN數據同時傳輸至完成模型訓練的寬度學習算法模型內及HMM情感計算模型內；

S3、通過所述寬度學習算法模型對駕駛員的行為習慣進行預測，理解駕駛員意圖；

S4、將被理解的駕駛員意圖數據也傳輸至HMM情感計算模型中，進行數據預處理，將所述用戶數據、所述車輛的周邊環境數據、所述車輛的汽車CAN數據數據及所述被理解的駕駛員意圖數據均轉換為可被所述HMM情感計算模型理解的數學表達信息；

S5、提取與駕駛員相關的特征數據，進行駕駛員情感識別；

S6、建立HMM情感計算模型，將所述汽車CAN數據、周邊環境數據及駕駛員意圖作為敏感因素指標，對所述HMM情感計算模型進行矯正；

S7、輸出符合駕駛員需求的情感表達數據。

更進一步，S5中的所述特征數據包括面部特征、聲學特征、文本特征，通過圖像特征提取方法、聲學特征提取方法和文本特征提取方法實現特征數據的提取。

更進一步，S5中的所述用戶情感識別包括識別用戶的情緒是正面、負面還是中性，具體包括高興、驚訝、悲傷、憤怒、厭惡、恐懼六種基本情感元素。