[發(fā)明專利]一種面向自動(dòng)駕駛智能座艙的多模態(tài)人機(jī)交互系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111528535.2
• 申請(qǐng)日: 2021-12-14
• 公開（公告）號(hào): CN114443888A
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計(jì)）人: 羅馬思陽;范晟華;郭健
• 申請(qǐng)（專利權(quán)）人: 蘇州安智汽車零部件有限公司
• 主分類號(hào): G06F16/635
• 分類號(hào): G06F16/635;G06V40/16;G06F3/16;G06F3/01;G06F1/3234
• 代理公司: 北京沁優(yōu)知識(shí)產(chǎn)權(quán)代理有限公司 11684
• 代理人: 陳堅(jiān)

1.一種面向自動(dòng)駕駛智能座艙的多模態(tài)人機(jī)交互系統(tǒng)，包括座艙，其特征在于：所述座艙內(nèi)包括座椅組件、顯示屏(1)、音響模塊和控制模塊，所述顯示屏(1)上設(shè)置有攝像模塊，所述座椅組件用以為駕駛?cè)藛T和乘客提供座位；

所述音響模塊包括揚(yáng)聲器單元(21)，所述揚(yáng)聲器單元(21)用以播放音樂或提示語音；

所述控制模塊包括用戶數(shù)據(jù)庫(31)和調(diào)取單元(32)，所述用戶數(shù)據(jù)庫(31)用以存儲(chǔ)預(yù)設(shè)的駕駛?cè)藛T面部數(shù)據(jù)以及預(yù)設(shè)的偏好數(shù)據(jù)，預(yù)設(shè)的駕駛?cè)藛T面部數(shù)據(jù)與預(yù)設(shè)的偏好數(shù)據(jù)一一對(duì)應(yīng)，預(yù)設(shè)的偏好數(shù)據(jù)包括歌單，所述調(diào)取單元(32)用以調(diào)取所述用戶數(shù)據(jù)庫(31)中的預(yù)設(shè)的偏好數(shù)據(jù)的歌單；

所述攝像模塊包括人臉識(shí)別單元(41)、目標(biāo)狀態(tài)識(shí)別單元(42)和人體距離計(jì)算單元(43)，當(dāng)駕駛?cè)藛T坐在所述座椅組件上時(shí)，所述人臉識(shí)別單元(41)識(shí)別駕駛?cè)藛T面部，并生成實(shí)際駕駛?cè)藛T面部數(shù)據(jù)，所述人體距離計(jì)算單元(43)用以分別計(jì)算駕駛?cè)藛T面部和乘客面部至所述顯示屏(1)之間距離并分別生成對(duì)應(yīng)的距離數(shù)值；

所述控制模塊配置有識(shí)別駕駛?cè)藛T策略，所述識(shí)別駕駛?cè)藛T策略：所述人臉識(shí)別單元(41)將實(shí)際駕駛?cè)藛T面部數(shù)據(jù)和預(yù)設(shè)的駕駛?cè)藛T面部數(shù)據(jù)作比對(duì)，若實(shí)際駕駛?cè)藛T的面部數(shù)據(jù)與所述用戶數(shù)據(jù)庫(31)中預(yù)設(shè)的駕駛?cè)藛T面部數(shù)據(jù)相匹配則生成調(diào)取指令，所述調(diào)取單元(32)根據(jù)調(diào)取指令調(diào)取對(duì)應(yīng)的預(yù)設(shè)的偏好數(shù)據(jù)中的歌單顯示在顯示屏(1)上；

所述控制模塊配置有目標(biāo)狀態(tài)識(shí)別策略，所述目標(biāo)狀態(tài)識(shí)別策略：所述目標(biāo)識(shí)別單元識(shí)別駕駛?cè)藛T面部狀態(tài)并與預(yù)設(shè)的駕駛?cè)诵菹r(shí)的面部狀態(tài)做比對(duì)，并生成面部狀態(tài)重合度，若面部狀態(tài)重合度大于預(yù)設(shè)駕駛?cè)藛T休息時(shí)的面部狀態(tài)重合閾值時(shí)則判定駕駛?cè)藛T正在休息，關(guān)閉所述顯示屏(1)；

所述控制模塊配置有距離提醒策略，所述距離提醒策略：所述距離計(jì)算單元將距離數(shù)值與預(yù)設(shè)的距離閾值做比對(duì)，若距離數(shù)值小于預(yù)設(shè)的距離閾值生成提醒保持距離指令，所述揚(yáng)聲器單元(21)根據(jù)提醒保持距離指令發(fā)出提醒保持距離語音。

2.根據(jù)權(quán)利要求1所述的一種面向自動(dòng)駕駛智能座艙的多模態(tài)人機(jī)交互系統(tǒng)，其特征在于：所述攝像模塊還包括手部姿勢估計(jì)單元(44)，所述手部姿勢估計(jì)單元(44)包括若干個(gè)預(yù)設(shè)的手勢，且每個(gè)預(yù)設(shè)的手勢對(duì)應(yīng)一個(gè)手勢指令，所述手部姿勢估計(jì)單元(44)用以識(shí)別駕駛?cè)藛T的手勢對(duì)應(yīng)的預(yù)設(shè)的手勢，并調(diào)取對(duì)應(yīng)的手勢指令，通過手勢指令來控制所述揚(yáng)聲器單元(21)進(jìn)行播放操作，所述播放操作包括有，增大播放音量、減小播放音量、播放上一首歌曲、播放下一首歌曲或視頻播放進(jìn)度。

3.根據(jù)權(quán)利要求1所述的一種面向自動(dòng)駕駛智能座艙的多模態(tài)人機(jī)交互系統(tǒng)，其特征在于：所述音響模塊包括語音喚醒單元(22)、語音轉(zhuǎn)寫單元(23)、語音交互單元(24)和語音控制單元(25)，所述語音喚醒單元(22)用以根據(jù)預(yù)設(shè)的喚醒關(guān)鍵詞來啟動(dòng)所述語音轉(zhuǎn)寫單元(23)，所述語音轉(zhuǎn)寫單元(23)用以識(shí)別駕駛?cè)藛T說的話作為指令話語，并將所述指令話語轉(zhuǎn)化成文字指令顯示在所述顯示屏(1)上，所述語音交互單元(24)根據(jù)所述文字指令通過所述揚(yáng)聲器單元(21)發(fā)出預(yù)設(shè)的反饋語音；

所述語音控制單元(25)用以根據(jù)文字指令生成控制指令，所述控制指令包括播放視頻指令和播放音樂指令，所述顯示屏(1)根據(jù)播放視頻指令在所述顯示屏(1)上播放視頻，所述顯示屏(1)根據(jù)播放音樂指令播放所述顯示屏(1)上顯示的歌單，并通過揚(yáng)聲器單元(21)播放。