[發(fā)明專利]一種移動型導(dǎo)盲機(jī)器人系統(tǒng)及導(dǎo)盲方法

有效

• 申請?zhí)枺?/td>: 202010465070.X
• 申請日: 2020-05-28
• 公開（公告）號: CN111609851B
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計）人: 戴亞平;王笑涵;趙乾
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G01C21/16
• 分類號: G01C21/16;G01S17/93;G01S17/86;G01S17/08;A61H3/06
• 代理公司: 北京正陽理工知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 鄔曉楠

本發(fā)明涉及一種移動型導(dǎo)盲機(jī)器人系統(tǒng)及導(dǎo)盲方法，屬于殘疾人輔助設(shè)備領(lǐng)域。本發(fā)明能夠?qū)崟r的進(jìn)行非結(jié)構(gòu)化環(huán)境下的多源融合感知及智能評估，進(jìn)而將評估結(jié)果提供給復(fù)雜環(huán)境約束下的決策規(guī)劃模塊進(jìn)行運算，不僅能實現(xiàn)實時環(huán)境感知，同時可進(jìn)行實時決策，實現(xiàn)全自主的路徑引導(dǎo)。能夠基于多源融合進(jìn)行路面評估，從材質(zhì)和平坦性兩個維度對路面進(jìn)行融合評估，獲得更為全面的信息。當(dāng)前的代表性方案普遍使用語義分割技術(shù)判別可行路面，通過RGB?D數(shù)據(jù)，融合平坦度檢測和材質(zhì)檢測，能為盲人更好更全面的探測和評估路面可通行性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種移動型導(dǎo)盲機(jī)器人系統(tǒng)及導(dǎo)盲方法，屬于殘疾人輔助設(shè)備領(lǐng)域。

背景技術(shù)

當(dāng)前，我國視力障礙人士的數(shù)量超過500萬人，位居世界前列。越來越多的視障人士認(rèn)為，現(xiàn)階段社會提供的導(dǎo)盲設(shè)施及工具均不能很好地滿足他們的活動需要，難以提供有效的路徑規(guī)劃和避障服務(wù)，一定程度上造成了視力障礙人群出行難的問題。隨著人工智能領(lǐng)域算法的突破性發(fā)展以及應(yīng)用的日益普及，近年來智能硬件的成本大為降低，相關(guān)工具鏈也日益成熟，為新應(yīng)用的形成奠定了必要的基礎(chǔ)。當(dāng)前智能導(dǎo)盲裝置主要有穿戴式和杖式兩大類，這兩類導(dǎo)盲裝置的主要技術(shù)缺陷有：

(1)受限于可穿戴屬性或安裝空間對體積和重量的限制，該類裝置難以配備高性能計算設(shè)備和完善的多源信息感知系統(tǒng)。

(2)穿戴式智能導(dǎo)盲裝置的感知傳感器以人體為安裝面，杖式智能導(dǎo)盲裝置以盲杖前緣為安裝面，均與人體運動強(qiáng)耦合，受人體正常運動的影響難以保持傳感器參考系相對穩(wěn)定，不利于提高感知精度。

(3)無法實現(xiàn)直接的引導(dǎo)，僅提供感知輔助，決策需盲人自身完成。

針對上述技術(shù)缺陷工業(yè)界發(fā)展了一類具有自主移動功能的導(dǎo)盲機(jī)器人，可初步處理上述缺陷，但仍存在諸多不足之處，如中國專利CN110368275A公開了一種導(dǎo)盲機(jī)器人硬件設(shè)計方法及與之配合的自主導(dǎo)盲方法，但沒有考慮融合路面可通行性，在路徑規(guī)劃方面沒有考慮導(dǎo)盲任務(wù)所處的行人環(huán)境。當(dāng)前的代表性感知方案普遍使用語義分割技術(shù)判別可行路面，如中國專利CN201810534059.7公開的一種基于語義分割神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)和地形檢測方法，能檢測路面類型并通知盲人，但難以識別相同材質(zhì)路面的平坦情況。專利CN102048612A公開了一種能自動識別交通信號燈、盲道等關(guān)鍵信息的移動機(jī)器人，但其無自主決策能力，仍需將信息匯報使用者令其自行決策。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有只能導(dǎo)航存在的上述問題，提供一種移動型導(dǎo)盲機(jī)器人系統(tǒng)及導(dǎo)盲方法。該方法能夠自主進(jìn)行融合環(huán)境感知，運行避障和規(guī)劃，在人機(jī)交互模塊的調(diào)控下進(jìn)行自動盲人引導(dǎo)。

本發(fā)明的目的是通過下述技術(shù)方案實現(xiàn)的。

一種移動型導(dǎo)盲機(jī)器人導(dǎo)盲方法，包括如下步驟：

步驟一、采集訓(xùn)練數(shù)據(jù)。拍攝采集多張周圍環(huán)境圖片，構(gòu)成圖集D；并通過人工標(biāo)注每張數(shù)據(jù)的內(nèi)容輪廓；

步驟二、構(gòu)建識別網(wǎng)絡(luò)。在圖像集D基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)，得到材質(zhì)判別模型，之后進(jìn)行修剪、量化和霍夫曼編碼，將材質(zhì)判別模型壓縮并通過TensorRT工具優(yōu)化材質(zhì)判別模型的算力消耗，同時對每類材質(zhì)賦予懲罰值l，得到材質(zhì)懲罰系數(shù)表，再將判別模型和材質(zhì)懲罰系數(shù)表一并存儲在機(jī)器人系統(tǒng)中；所述懲罰值表示對系統(tǒng)在該材質(zhì)上運動的拒絕程度。

步驟三、材質(zhì)檢測以及材質(zhì)評分。

材質(zhì)檢測：在運行模式下，傳感器將獲取的深度相機(jī)和彩色相機(jī)數(shù)據(jù)幀分別發(fā)送給步驟二所得的判別模型；利用判別模型得到像素坐標(biāo)系下的材質(zhì)信息M；所述材質(zhì)信息M元素格式為(u,v,C)，u表示x軸方向像素坐標(biāo)；v表示y軸方向像素坐標(biāo)；C表示材質(zhì)類別。