[發(fā)明專利]自動駕駛智能掃路人機(jī)交互控制系統(tǒng)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202010739310.0
• 申請日: 2020-07-28
• 公開（公告）號: CN111984007A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 陳海波;岳宗豪
• 申請（專利權(quán)）人: 深蘭科技（上海）有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06K9/00;G10L15/22
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于包括：

融合建模模塊將感知模塊和定位模塊的信息進(jìn)行融合，設(shè)置光影交互信號的指令庫，構(gòu)建人機(jī)交互作業(yè)場景模型；

決策規(guī)劃模塊是基于融合的感知信號和定位信號以及場景模型做決策規(guī)劃，遍歷預(yù)設(shè)的光影交互信號的定義作業(yè)指令，持續(xù)跟蹤記錄互動對象的位置和行為動作，視頻感知模塊輻射范圍為周圍環(huán)境與紅外感知模塊共同感知并記錄周圍環(huán)境變化，進(jìn)行光影算法融合；

人機(jī)交互模塊包括語音交互模塊和光影交互模塊；

光影交互模塊包括攝像設(shè)備、光影顯示模塊、光影控制模塊；

攝像設(shè)備檢測記錄互動對象的位置和行為動作的圖像或視頻信息；進(jìn)一步行為動作可以是手勢或肢體動作或移動軌跡；將視頻信號傳輸至光影控制模塊；

光影顯示模塊向環(huán)境發(fā)射光影信號與環(huán)境的互動和聯(lián)絡(luò)；

光影控制模塊，接收光影系統(tǒng)感知數(shù)據(jù)，對視頻圖像數(shù)據(jù)和紅外感知數(shù)據(jù)做物體聚類識別和行為動作以及軌跡識別；動作軌跡識別，提取每幀圖像數(shù)據(jù)中的特征點(diǎn)；激光發(fā)射器形成的光影在圖像算法識別過程中，通過光影區(qū)域與周邊環(huán)境亮度差異，識別交互指令；決策后的指令進(jìn)一步傳輸回光影控制模塊，通過光影顯示設(shè)備發(fā)射互動的光影信號。

2.根據(jù)權(quán)利要求1所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于，采集光影交互模塊與目標(biāo)交互的信息，交互對象包括光影、智能終端、聲音，通過攝像設(shè)備和紅外感知設(shè)備接收到的環(huán)境信息或光影投射采集的光影手勢信息。

3.根據(jù)權(quán)利要求1所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于，還包括定位模塊為掃路車或掃路機(jī)提供精準(zhǔn)位置定位。

4.根據(jù)權(quán)利要求1所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于，還包括感知模塊為掃路車或掃路機(jī)提供周圍環(huán)境的實(shí)時檢測信號，為掃路車或掃路機(jī)提供位置信息和環(huán)境信息。

5.根據(jù)權(quán)利要求1所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于，還包括語音交互模塊，通過語音與掃路車或掃路機(jī)進(jìn)行交互下達(dá)工作指令和工作規(guī)劃，掃路車或掃路機(jī)與環(huán)境中交通車輛進(jìn)行實(shí)時交互，達(dá)到導(dǎo)引或者安全警示功能，掃路車或掃路機(jī)可以與行人進(jìn)行實(shí)時交互，達(dá)到警示安全和行人防護(hù)動能；在車輛遇到連續(xù)障礙物或者信號遮擋區(qū)域，語音交互模塊將提供進(jìn)一步的安全防護(hù)。

6.根據(jù)權(quán)利要求5所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于，語音交互模塊包括語音接收設(shè)備、語音播放設(shè)備、語音轉(zhuǎn)化模塊、語音控制模塊；

語音接收設(shè)備，掃路車或掃路機(jī)工作狀態(tài)下，實(shí)時檢測和記錄周圍環(huán)境的聲音頻譜；

語音播放設(shè)備，按照語音轉(zhuǎn)化模塊的信號，以聲波的方式向周圍播放語音內(nèi)容；

語音轉(zhuǎn)化模塊，將語音接收設(shè)備檢測到的聲音頻譜轉(zhuǎn)化為數(shù)字信號，也可以將數(shù)字信號轉(zhuǎn)化為語音播放設(shè)備可以執(zhí)行的輸出信號；

語音控制模塊，具備聲音頻譜數(shù)據(jù)庫，通過計(jì)算機(jī)算法對接收到的聲音數(shù)字信號進(jìn)行識別指令及環(huán)境噪音，將識別后的信息傳輸至決策規(guī)劃模塊，決策后指令進(jìn)一步傳輸回語音控制模塊，通過語音播放設(shè)備執(zhí)行播放互動的聲音信號。

7.根據(jù)權(quán)利要求1所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于：感知模塊為掃路車或掃路機(jī)提供周圍環(huán)境的實(shí)時檢測信號，一般包括激光雷達(dá)、攝像頭、毫米波雷達(dá)、超聲波雷達(dá)、紅外夜視，提供位置信息和環(huán)境信息。

8.根據(jù)權(quán)利要求1所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于：接收交互指令的設(shè)備包括激光發(fā)射器、攝像感知模塊或紅外感知模塊。

9.根據(jù)權(quán)利要求1所述的自動駕駛智能掃路人機(jī)交互控制系統(tǒng)，其特征在于：決策系統(tǒng)接收路面出現(xiàn)不平整的高度差以及不易處理的清掃對象，遍歷已存儲的場景信息庫，選擇對應(yīng)的處理策略。

10.一種自動駕駛智能掃路人機(jī)交互控制設(shè)備，其特征在于：車體設(shè)有紅外感知器、投影系統(tǒng)以及攝像系統(tǒng)，使用如權(quán)利要求1-8所述的交互控制系統(tǒng)交互控制。