[發(fā)明專利]人車互動(dòng)方法、系統(tǒng)以及車輛和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911243603.3
• 申請(qǐng)日: 2019-12-06
• 公開（公告）號(hào): CN112927721A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 蔡漢嘉
• 申請(qǐng)（專利權(quán)）人: 觀致汽車有限公司
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63;G10L15/26;G10L15/30;G06K9/00
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 付文虹

本發(fā)明公開了一種人車互動(dòng)方法、系統(tǒng)以及車輛和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，人車互動(dòng)方法包括：通過(guò)設(shè)置在車內(nèi)的麥克風(fēng)接收用戶的語(yǔ)音信息，并通過(guò)設(shè)置在車內(nèi)的攝像頭采集人臉圖像；對(duì)語(yǔ)音信息進(jìn)行識(shí)別，得到第一情緒信息，以及對(duì)人臉圖像進(jìn)行識(shí)別，得到第二情緒信息；根據(jù)第一情緒信息和第二情緒信息確定最終識(shí)別結(jié)果，得到第三情緒信息；根據(jù)第三情緒信息調(diào)整車載顯示屏顯示的虛擬人物的情緒。由此，該方法能夠結(jié)合用戶的語(yǔ)音信息和人臉圖像識(shí)別用戶的情緒信息，進(jìn)而調(diào)整虛擬人物的情緒信息，更加擬人化，從而能夠提高情緒識(shí)別的準(zhǔn)確性，增加駕駛時(shí)的趣味性。

技術(shù)領(lǐng)域

本發(fā)明涉及車輛技術(shù)領(lǐng)域，尤其涉及一種人車互動(dòng)方法、系統(tǒng)以及車輛和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，車載虛擬人物雖然已經(jīng)應(yīng)用到全息投影技術(shù)，但其仍存在不夠擬人化的問(wèn)題，例如通過(guò)語(yǔ)義理解無(wú)法完美進(jìn)行表情詮釋、模擬，通過(guò)拍攝人臉不一定能虛擬出反應(yīng)用戶真實(shí)狀態(tài)的人物等。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

為此，本發(fā)明的第一個(gè)目的在于提出一種人車互動(dòng)方法，以結(jié)合用戶的語(yǔ)音信息和人臉圖像識(shí)別用戶的情緒信息，進(jìn)而調(diào)整虛擬人物的情緒信息，更加擬人化，從而能夠提高情緒識(shí)別的準(zhǔn)確性，增加駕駛時(shí)的趣味性。

本發(fā)明的第二個(gè)目的在于提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本發(fā)明的第三個(gè)目的在于提出一種人車互動(dòng)系統(tǒng)。

本發(fā)明的第四個(gè)目的在于提出一種車輛。

為達(dá)上述目的，本發(fā)明第一方面實(shí)施例提出了一種人車互動(dòng)方法，包括：通過(guò)設(shè)置在車內(nèi)的麥克風(fēng)接收用戶的語(yǔ)音信息，并通過(guò)設(shè)置在車內(nèi)的攝像頭采集人臉圖像；對(duì)所述語(yǔ)音信息進(jìn)行識(shí)別，得到第一情緒信息，以及對(duì)所述人臉圖像進(jìn)行識(shí)別，得到第二情緒信息；根據(jù)所述第一情緒信息和所述第二情緒信息確定最終識(shí)別結(jié)果，得到第三情緒信息；根據(jù)所述第三情緒信息調(diào)整車載顯示屏顯示的虛擬人物的情緒。

根據(jù)本發(fā)明實(shí)施例的人車互動(dòng)方法，首先，通過(guò)車內(nèi)的麥克風(fēng)接收用戶的語(yǔ)音信息，并通過(guò)車內(nèi)的攝像頭采集人臉圖像；然后，對(duì)語(yǔ)音信息進(jìn)行識(shí)別，進(jìn)而得到第一情緒信息，以及對(duì)人臉圖像進(jìn)行識(shí)別，進(jìn)而得到第二情緒信息；再然后，根據(jù)第一情緒信息和第二情緒信息確定最終識(shí)別結(jié)果，以得到第三情緒信息；最后，根據(jù)第三情緒信息調(diào)整車載顯示屏顯示的虛擬人的情緒。由此，該方法能夠結(jié)合用戶的語(yǔ)音信息和人臉圖像識(shí)別用戶的情緒信息，進(jìn)而調(diào)整虛擬人物的情緒信息，更加擬人化，從而能夠提高情緒識(shí)別的準(zhǔn)確性，增加駕駛時(shí)的趣味性。

另外，根據(jù)本發(fā)明上述實(shí)施例的人車互動(dòng)方法還可以具有如下附加的技術(shù)特征：

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述對(duì)所述語(yǔ)音信息進(jìn)行識(shí)別，包括：通過(guò)設(shè)置在車輛上的本地語(yǔ)音識(shí)別模塊對(duì)所述語(yǔ)音信息進(jìn)行識(shí)別；如果所述本地語(yǔ)音識(shí)別模塊不能從所述語(yǔ)音信息中提取到情緒特征，則將所述語(yǔ)音信息發(fā)送至云端，以通過(guò)云端語(yǔ)音識(shí)別模塊對(duì)所述語(yǔ)音信息進(jìn)行識(shí)別。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述對(duì)所述語(yǔ)音信息進(jìn)行識(shí)別，還包括：將所述語(yǔ)音信息轉(zhuǎn)換為文字信息；對(duì)所述文字信息進(jìn)行分詞和語(yǔ)義解析，并判斷從所述文字信息中是否能夠提取到情緒特征；如果從所述文字信息中能夠提取到情緒特征，則將所述情緒特征作為所述第一情緒信息；如果從所述文字信息中不能夠提取到情緒特征，則判定所述語(yǔ)音信息無(wú)語(yǔ)義，并將無(wú)語(yǔ)義特征作為所述第一情緒信息。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述第二情緒信息為表征情緒程度的信息或無(wú)法判斷信息。