[發(fā)明專利]一種多模態(tài)控制方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011306064.6
• 申請日: 2020-11-19
• 公開（公告）號: CN112506125A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 李國華;龔思穎
• 申請（專利權）人: 北京驀然認知科技有限公司
• 主分類號: G05B19/05
• 分類號: G05B19/05;G10L15/22;B60R16/02
• 代理公司: 北京智丞瀚方知識產(chǎn)權代理有限公司 11810
• 代理人: 楊樂

本發(fā)明公開了一種多模態(tài)控制方法，包括：創(chuàng)建步驟，創(chuàng)建多模態(tài)控制輸入層、消歧分析層和輸出層；接收輸入信息步驟，所述輸入層接收至少一種輸入信息，生成多模態(tài)瀑布流消息；消歧處理步驟，所述消歧控制層從所述輸入層接收所述多模態(tài)瀑布流消息，對所述多模態(tài)瀑布流進行消歧處理和分析，生成控制消息發(fā)送給所述輸出層；生成控制命令步驟，所述輸出層從所述消歧分析層接收所述控制消息；輸出控制命令步驟，所述輸出層向被控設備輸出控制命令，實現(xiàn)對被控設備的控制。本發(fā)明的方法能夠通過一個或多個用戶的多模態(tài)輸入，生成控制指令實現(xiàn)對車載設備的精確控制，使得用戶不必操作復雜的按鍵，提高了駕駛體驗和駕駛過程中的安全性。

技術領域

本發(fā)明實施例涉及智能控制技術領域，特別涉及一種多模態(tài)控制方法、裝置和系統(tǒng)。

背景技術

目前，隨著語音識別技術的發(fā)展，對設備的控制逐漸智能化，例如在智能駕駛中，通過捕捉用戶的語音、手勢、眼部活動等信息，將其轉化為控制指令實現(xiàn)對車輛的智能控制，通過解放人的雙手和雙眼降低駕駛難度實現(xiàn)智能駕駛。

但是，目前的智能駕駛技術的實現(xiàn)仍然基于傳統(tǒng)的汽車架構和車內功能按鍵布局，雖然各個車型針對同一功能的控制按鍵存在形狀、位置、操作方式上的區(qū)別，但是基本上針對同一功能的控制按鍵具有相似的布局。例如，所有汽車的車窗按鍵組基本都包括至少四個按鍵來分別控制左前、左后、右前、右后這四塊窗戶玻璃，后視鏡按鍵組也基本都包括兩個按鍵或者兩個鍵位來分別對左、右兩塊后視鏡進行調節(jié)。

上述提到的，目前車輛中多個功能按鍵的設置方式導致車內按鍵眾多，駕駛員操作不方便，也帶來了安全隱患，同時影響內部布局的美觀性。并且，隨著智能駕駛技術的發(fā)展，功能的觸發(fā)將不依賴于現(xiàn)有的某些按鍵，使得這些按鍵沒有保留的必要。

發(fā)明內容

針對現(xiàn)有技術中的問題，本發(fā)明提供一種多模態(tài)控制方法、裝置和系統(tǒng)。

本發(fā)明提供一種多模態(tài)控制方法，所述方法包括，創(chuàng)建多模態(tài)控制輸入層、消歧分析層和輸出層，所述輸入層接收至少一種輸入信息，所述輸入層根據(jù)所述至少一種輸入信息生成多模態(tài)瀑布流消息；所述消歧控制層從所述輸入層接收所述多模態(tài)瀑布流消息，對所述多模態(tài)瀑布流進行消歧處理和分析，生成控制消息發(fā)送給所述輸出層；所述輸出層從所述消歧分析層接收所述控制消息，并向被控設備輸出控制命令，實現(xiàn)對被控設備的控制。

進一步的，所述多模態(tài)瀑布流消息為多個模態(tài)的輸入消息按照一定順序組成的連續(xù)輸入消息流。所述消歧控制層從所述多模態(tài)瀑布流消息中的提取連續(xù)輸入指令，對所述連續(xù)輸入指令進行消歧分析。

優(yōu)選的，所述連續(xù)輸入指令為連續(xù)輸入控制指令。

進一步的，所述輸入信息為針對被控設備的控制信息，至少一種控制信息包括用戶的語音控制信息、用戶的姿勢控制信息、圖像控制信息和物理按鍵控制信息。優(yōu)選的，所述用戶的姿態(tài)控制信息包括手勢、身體姿勢或二者的組合；所述圖像控制信息包括眼球圖像。可選的，所述輸入信息來自一個或多個用戶。

可選的，所述被控設備為車輛中的部件，包括：車燈、車窗、雨刷、后視鏡、空調和/或車載娛樂設備。

進一步的，所述輸入信息由信息采集設備進行采集，所述信息采集設備可以為多個單模態(tài)信息采集設備，可以為一個或多個多模態(tài)信息采集設備。

優(yōu)選的，所述信息采集設備包括但不限于傳感器、攝像頭、音頻采集設備等。

進一步的，所述消歧控制層對所述連續(xù)輸入指令進行消歧分析具體包括下面一種或多種方式：對多模態(tài)瀑布流消息進行模態(tài)識別；剔除多模態(tài)瀑布流消息中的重疊部分；對多模態(tài)瀑布流消息中的各模態(tài)消息進行關聯(lián)性梳理；對多模態(tài)瀑布流消息進行時間順序梳理；根據(jù)所述多模態(tài)瀑布流消息生成指令組。

可選的，所述消歧控制層在執(zhí)行上述一種或多種步驟時，可以采用一種或多種順序。