[發(fā)明專利]自動(dòng)駕駛智能掃路人機(jī)交互控制系統(tǒng)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010739310.0
• 申請(qǐng)日: 2020-07-28
• 公開（公告）號(hào): CN111984007A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 陳海波;岳宗豪
• 申請(qǐng)（專利權(quán)）人: 深蘭科技（上海）有限公司
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02;G06K9/00;G10L15/22
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 陳紅橋

本發(fā)明公開了一種自動(dòng)駕駛智能掃路人機(jī)交互控制系統(tǒng)及設(shè)備，包括融合建模模塊將感知模塊和定位模塊的信息進(jìn)行融合，設(shè)置光影交互信號(hào)的指令庫(kù)，構(gòu)建自動(dòng)行駛所需要的行駛場(chǎng)景模型；決策規(guī)劃模塊是基于融合的感知信號(hào)和定位信號(hào)以及場(chǎng)景模型做決策規(guī)劃，遍歷預(yù)設(shè)的光影交互信號(hào)的定義啟動(dòng)指令，持續(xù)跟蹤記錄位置和后續(xù)動(dòng)作，視頻感知模塊輻射范圍為周圍環(huán)境與紅外感知模塊共同感知并記錄周圍環(huán)境變化，進(jìn)行光影算法融合；人機(jī)交互模塊包括語(yǔ)音交互模塊和光影交互模塊；光影交互模塊包括攝像設(shè)備、光影顯示模塊、光影控制模塊。本發(fā)明設(shè)置光影交互信號(hào)的指令庫(kù)，構(gòu)建行駛場(chǎng)景模型；充分利用語(yǔ)音交互系統(tǒng)和光影交互系統(tǒng)，建立清掃環(huán)境決策系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及自動(dòng)環(huán)衛(wèi)設(shè)備技術(shù)領(lǐng)域和自動(dòng)清潔設(shè)備技術(shù)領(lǐng)域，尤其是涉及一種帶有人機(jī)交互系統(tǒng)和自動(dòng)駕駛系統(tǒng)的智能掃路車或掃路機(jī)和智能掃路車或掃路機(jī)器人。

背景技術(shù)

隨著城市的不斷擴(kuò)建，城鎮(zhèn)化率逐年提高，城鎮(zhèn)內(nèi)部需要進(jìn)行環(huán)衛(wèi)清掃的道路面積大量增加，而環(huán)衛(wèi)工人老齡化嚴(yán)重，為了提高道路清掃的效率以及降低環(huán)衛(wèi)工人的安全風(fēng)險(xiǎn)，在大量的城鎮(zhèn)市政道路上采用了人工駕駛的傳統(tǒng)環(huán)衛(wèi)清掃車輛。由于自動(dòng)駕駛和人工智能領(lǐng)域在近年間有了突飛猛進(jìn)的發(fā)展，可以將新興技術(shù)引入至傳統(tǒng)環(huán)衛(wèi)行業(yè)。

傳統(tǒng)環(huán)衛(wèi)掃路車或掃路機(jī)，人工駕駛，驅(qū)動(dòng)方式為傳統(tǒng)燃油車或者電動(dòng)車，人工駕駛，需要實(shí)際操作人員，環(huán)衛(wèi)工人老齡化嚴(yán)重，對(duì)于新技術(shù)難于掌握，帶有自動(dòng)駕駛系統(tǒng)的環(huán)衛(wèi)掃路車或掃路機(jī)，按照工作指令和規(guī)劃路線執(zhí)行環(huán)衛(wèi)工作的電動(dòng)掃路車或掃路機(jī)，電動(dòng)掃路車或掃路機(jī)僅能通過云端或者移動(dòng)端進(jìn)行管理，對(duì)于軟件和硬件的操作水平要求較高，與現(xiàn)有的環(huán)衛(wèi)工人技術(shù)能力差距較大，同時(shí)在與外界的信息交互中，基本沒有溝通。

發(fā)明內(nèi)容

1、本發(fā)明的目的

本發(fā)明為了解決傳統(tǒng)環(huán)衛(wèi)掃路車或掃路機(jī)和自動(dòng)駕駛環(huán)衛(wèi)掃路車或掃路機(jī)對(duì)于操作人員的技術(shù)能力和軟硬件的操作水平要求很高，而且缺少與外界環(huán)境的溝通和聯(lián)絡(luò)的問題，而提出了一種自動(dòng)駕駛智能掃路人機(jī)交互控制系統(tǒng)及設(shè)備。

2、本發(fā)明所采用的技術(shù)方案

本發(fā)明公開了一種自動(dòng)駕駛智能掃路人機(jī)交互控制系統(tǒng)，包括：

融合建模模塊將感知模塊和定位模塊的信息進(jìn)行融合，設(shè)置光影交互信號(hào)的指令庫(kù)，構(gòu)建人機(jī)交互作業(yè)場(chǎng)景模型；

決策規(guī)劃模塊是基于融合的感知信號(hào)和定位信號(hào)以及場(chǎng)景模型做決策規(guī)劃，遍歷預(yù)設(shè)的光影交互信號(hào)的定義作業(yè)指令，持續(xù)跟蹤記錄互動(dòng)對(duì)象的位置和行為動(dòng)作，視頻感知模塊輻射范圍為周圍環(huán)境與紅外感知模塊共同感知并記錄周圍環(huán)境變化，進(jìn)行光影算法融合；

人機(jī)交互模塊包括語(yǔ)音交互模塊和光影交互模塊；

光影交互模塊包括攝像設(shè)備、光影顯示模塊、光影控制模塊；

攝像設(shè)備檢測(cè)記錄互動(dòng)對(duì)象的位置和行為動(dòng)作的圖像或視頻信息；進(jìn)一步行為動(dòng)作可以是手勢(shì)或肢體動(dòng)作或移動(dòng)軌跡；將視頻信號(hào)傳輸至光影控制模塊；

光影顯示模塊向環(huán)境發(fā)射光影信號(hào)與環(huán)境的互動(dòng)和聯(lián)絡(luò)；

光影控制模塊，接收光影系統(tǒng)感知數(shù)據(jù)，對(duì)視頻圖像數(shù)據(jù)和紅外感知數(shù)據(jù)做物體聚類識(shí)別和行為動(dòng)作以及軌跡識(shí)別；動(dòng)作軌跡識(shí)別，提取每幀圖像數(shù)據(jù)中的特征點(diǎn)；激光發(fā)射器形成的光影在圖像算法識(shí)別過程中，通過光影區(qū)域與周邊環(huán)境亮度差異，識(shí)別交互指令；決策后的指令進(jìn)一步傳輸回光影控制模塊，通過光影顯示設(shè)備發(fā)射互動(dòng)的光影信號(hào)。

更進(jìn)一步，采集光影交互模塊與目標(biāo)交互的信息，交互對(duì)象包括光影、智能終端、聲音，通過攝像設(shè)備和紅外感知設(shè)備接收到的環(huán)境信息或光影投射采集的光影手勢(shì)信息。

更進(jìn)一步，還包括定位模塊為掃路車或掃路機(jī)提供精準(zhǔn)位置定位。