[發(fā)明專(zhuān)利]一種安全性高的基于動(dòng)作行為的列車(chē)人機(jī)語(yǔ)音交互系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011546808.1
• 申請(qǐng)日: 2020-12-24
• 公開(kāi)（公告）號(hào): CN112735405A
• 公開(kāi)（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 牛可;牛晨旭;李長(zhǎng)留;呂蒙;趙慧;王洋;王閃閃;喬聰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 鄭州鐵路職業(yè)技術(shù)學(xué)院
• 主分類(lèi)號(hào): G10L15/22
• 分類(lèi)號(hào): G10L15/22;G10L15/02;G10L15/25;G10L25/51;G06K9/00;G08B21/06;G08B21/24
• 代理公司: 北京棘龍知識(shí)產(chǎn)權(quán)代理有限公司 11740
• 代理人: 戴麗偉

1.一種安全性高的基于動(dòng)作行為的列車(chē)人機(jī)語(yǔ)音交互系統(tǒng)，包括語(yǔ)音采集模塊(1)、動(dòng)作行為采集攝像模塊(2)、情緒采集攝像模塊(3)、車(chē)載主機(jī)(7)和大數(shù)據(jù)模塊(10)，其特征在于：所述語(yǔ)音采集模塊(1)的輸出端與語(yǔ)音識(shí)別模塊(4)的輸入端電性連接，所述動(dòng)作行為采集攝像模塊(2)的輸出端與動(dòng)作行為識(shí)別模塊(5)的輸入端電性連接，所述情緒采集攝像模塊(3)的輸出端與情緒識(shí)別模塊(6)的輸入端電性連接，所述語(yǔ)音識(shí)別模塊(4)的輸出端、動(dòng)作行為識(shí)別模塊(5)的輸出端和情緒識(shí)別模塊(6)的輸出端均與車(chē)載主機(jī)(7)的輸入端電性連接，所述車(chē)載主機(jī)(7)的輸出端分別與揚(yáng)聲器模塊(8)的輸入端和報(bào)警模塊(9)的輸入端電性連接；

所述車(chē)載主機(jī)(7)亦與大數(shù)據(jù)模塊(10)雙向網(wǎng)絡(luò)連接；

所述車(chē)載主機(jī)(7)亦通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)模塊(11)與列車(chē)監(jiān)控中心(12)雙向網(wǎng)絡(luò)連接。

2.根據(jù)權(quán)利要求1所述的一種安全性高的基于動(dòng)作行為的列車(chē)人機(jī)語(yǔ)音交互系統(tǒng)，其特征在于，所述語(yǔ)音識(shí)別模塊(4)包括音色識(shí)別單元(401)、音量識(shí)別單元(402)和音調(diào)識(shí)別單元(403)，所述音色識(shí)別單元(401)用于識(shí)別駕駛員語(yǔ)音的音色，所述音量識(shí)別單元(402)用于識(shí)別駕駛員語(yǔ)音的音量，所述音調(diào)識(shí)別單元(403)用于識(shí)別駕駛員語(yǔ)音的音調(diào)。

3.根據(jù)權(quán)利要求1所述的一種安全性高的基于動(dòng)作行為的列車(chē)人機(jī)語(yǔ)音交互系統(tǒng)，其特征在于，所述動(dòng)作行為識(shí)別模塊(5)包括肢體動(dòng)作識(shí)別單元(501)和口型動(dòng)作識(shí)別單元(502)，所述肢體動(dòng)作識(shí)別單元(501)用于識(shí)別動(dòng)作行為采集攝像模塊(2)采集到視頻中的肢體動(dòng)作特征，所述口型動(dòng)作識(shí)別單元(502)用于識(shí)別動(dòng)作行為采集攝像模塊(2)采集到視頻中的口型動(dòng)作特征。

4.根據(jù)權(quán)利要求1所述的一種安全性高的基于動(dòng)作行為的列車(chē)人機(jī)語(yǔ)音交互系統(tǒng)，其特征在于，所述情緒識(shí)別模塊(6)包括面部表情識(shí)別單元(601)和瞳孔識(shí)別單元(602)，所述面部表情識(shí)別單元(601)用于識(shí)別情緒采集攝像模塊(3)采集到視頻中的面部表情特征，所述瞳孔識(shí)別單元(602)用于識(shí)別情緒采集攝像模塊(3)采集到視頻中的人體瞳孔特征。

5.根據(jù)權(quán)利要求1所述的一種安全性高的基于動(dòng)作行為的列車(chē)人機(jī)語(yǔ)音交互系統(tǒng)，其特征在于，所述車(chē)載主機(jī)(7)對(duì)經(jīng)語(yǔ)音識(shí)別模塊(4)、動(dòng)作行為識(shí)別模塊(5)和情緒識(shí)別模塊(6)提取的特征進(jìn)行編碼，并調(diào)取大數(shù)據(jù)模塊(10)中語(yǔ)音、動(dòng)作行為以及情緒的模型，兩者相比較，進(jìn)而更加精確的得到語(yǔ)音指令的內(nèi)容，同時(shí)通過(guò)語(yǔ)音、行為動(dòng)作判斷是否為駕駛員本人，通過(guò)面部表情和瞳孔判斷駕駛員是否疲勞、帶情緒駕駛。

6.根據(jù)權(quán)利要求1所述的一種安全性高的基于動(dòng)作行為的列車(chē)人機(jī)語(yǔ)音交互系統(tǒng)，其特征在于，所述大數(shù)據(jù)模塊(10)內(nèi)存儲(chǔ)有每個(gè)駕駛員的音色、音量、音調(diào)、肢體動(dòng)作、口型動(dòng)作、面部表情和瞳孔數(shù)據(jù)模型。