[發(fā)明專利]一種移動型導(dǎo)盲機(jī)器人系統(tǒng)及導(dǎo)盲方法

有效

• 申請?zhí)枺?/td>: 202010465070.X
• 申請日: 2020-05-28
• 公開（公告）號: CN111609851B
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 戴亞平;王笑涵;趙乾
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G01C21/16
• 分類號: G01C21/16;G01S17/93;G01S17/86;G01S17/08;A61H3/06
• 代理公司: 北京正陽理工知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 鄔曉楠

1.一種移動型導(dǎo)盲機(jī)器人導(dǎo)盲方法，其特征在于：包括如下步驟：

步驟一、采集訓(xùn)練數(shù)據(jù)；拍攝采集多張周圍環(huán)境圖片，構(gòu)成圖集D；并通過人工標(biāo)注每張數(shù)據(jù)的內(nèi)容輪廓；

步驟二、構(gòu)建識別網(wǎng)絡(luò)；在圖像集D基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)，得到材質(zhì)判別模型，之后進(jìn)行修剪、量化和霍夫曼編碼，將材質(zhì)判別模型壓縮并通過TensorRT工具優(yōu)化材質(zhì)判別模型的算力消耗，同時對每類材質(zhì)賦予懲罰值l，得到材質(zhì)懲罰系數(shù)表，再將判別模型和材質(zhì)懲罰系數(shù)表一并存儲在機(jī)器人系統(tǒng)中；所述懲罰值表示對系統(tǒng)在該材質(zhì)上運(yùn)動的拒絕程度；

步驟三、材質(zhì)檢測以及材質(zhì)評分；

材質(zhì)檢測：在運(yùn)行模式下，傳感器將獲取的深度相機(jī)和彩色相機(jī)數(shù)據(jù)幀分別發(fā)送給步驟二所得的判別模型；利用判別模型得到像素坐標(biāo)系下的材質(zhì)信息M；所述材質(zhì)信息M元素格式為(u，v，C)，u表示x軸方向像素坐標(biāo)；v表示y軸方向像素坐標(biāo)；C表示材質(zhì)類別；

材質(zhì)評分：為將其與世界坐標(biāo)系下點(diǎn)云建立聯(lián)系，切取世界坐標(biāo)系中機(jī)器人正前方1m*1m區(qū)域，由其中的點(diǎn)計(jì)算對應(yīng)的像素坐標(biāo)其中T_WC為世界坐標(biāo)到相機(jī)坐標(biāo)變換陣，由慣性測量單元(IMU)讀取得到，C_m為相機(jī)矩陣，由傳感器預(yù)先標(biāo)定得到；由在M中查詢對應(yīng)的材質(zhì)類別，按步驟二預(yù)定義的懲罰值替換材質(zhì)類別C，得到材質(zhì)損失L_material，L_material元素格式為(x，y，z，l)，x，y，z表示世界坐標(biāo)系下坐標(biāo)；l表示懲罰值；

步驟四、基于點(diǎn)云平面擬合的平坦型檢測；

1)通過深度相機(jī)的深度點(diǎn)云信息獲取實(shí)時路面點(diǎn)云數(shù)據(jù)；將數(shù)據(jù)轉(zhuǎn)換為PCL點(diǎn)云處理庫的PointCloud2數(shù)據(jù)類型，使用聚類型點(diǎn)云濾波器進(jìn)行異常點(diǎn)補(bǔ)償和點(diǎn)云濾波；

2)對濾波后的點(diǎn)云數(shù)據(jù)進(jìn)行隨機(jī)采樣一致性評估，獲得擬檢測地平面的參數(shù)，進(jìn)而得到估計(jì)平面；計(jì)算點(diǎn)云集中每一點(diǎn)到此平面的歐氏距離d_i，并按下式計(jì)算對應(yīng)的l_i，進(jìn)而得地平面平坦性描述T，T＝{l₁，l₂，...l_N}；

上式中，均值σ為敏感度閾值；選取T中位于世界坐標(biāo)系中機(jī)器人正前方1m*1m區(qū)域的點(diǎn)構(gòu)成集合，記為平坦損失L_terrian；

步驟五、2.5維柵格地圖融合；

將步驟四得到的L_terrian和步驟三得到的L_material相加得總損失L_merge，L_merge向步驟四得到的估計(jì)平面投影，并柵格化；對每個柵格進(jìn)行如下操作：無映射點(diǎn)的柵格記懲罰值為無窮大；存在多映射點(diǎn)的柵格取最大懲罰值，從而得到2.5維柵格地圖，將柵格地圖發(fā)布為ROS消息，提交給規(guī)劃模塊處理；

步驟六、全局路徑規(guī)劃；即路網(wǎng)級規(guī)劃，通過調(diào)用百度地圖或高德地圖API實(shí)現(xiàn)，其決策結(jié)果為一個路網(wǎng)級的軌跡參考線；

步驟七、兩步法進(jìn)行局部路徑規(guī)劃；

第一步、局部路徑規(guī)劃粗生成；在步驟五得到的柵格地圖的信息基礎(chǔ)上，暫不考慮行人這類高動態(tài)非合作目標(biāo)的避碰約束，利用經(jīng)典路徑規(guī)劃技術(shù)擬定初始局部規(guī)劃的參考軌跡集

第二步、局部路徑規(guī)劃細(xì)生成；在初始參考軌跡集的基礎(chǔ)上考慮剩余約束要求和優(yōu)化指標(biāo)，生成最終的決策軌跡τ，進(jìn)而由控制器生成具體的決策序列A_0：T；

考慮控制時間片[t₀，t_f]，設(shè)為處于導(dǎo)盲機(jī)器人領(lǐng)域中的N_nearby個行人在t時刻的狀態(tài)向量，其中

P_x，P_y為位置、V_x，V_y為速度，θ_b，為軀干的方向角，θ_h為頭部的方向角；容許控制u_t＝[r_ls，r_rs]；r_ls為機(jī)器人左輪轉(zhuǎn)速，r_rs為機(jī)器人右輪轉(zhuǎn)速；優(yōu)化的總體目標(biāo)為：

其中，α*(t_f-t₀)為時間最短目標(biāo)，為各行人與機(jī)器人的距離和，要求生成軌跡盡量接近初始參考軌跡α，β，γ為非負(fù)的加權(quán)參數(shù)；以此為目標(biāo)求解控制量，控制量需滿足如下約束條件：滿足的控制約束，滿足Δ＝|u_t(1)-u_t(2)|＜ω_max的轉(zhuǎn)向約束，滿足的加速度約束；并考慮人機(jī)關(guān)系，滿足的人機(jī)最大距離約束，其中表示控制量上界，ω_max表示角速度上界，表示加速度上界，表示人機(jī)間最大允許距離；最后，滿足系統(tǒng)的避碰約束即和運(yùn)動轉(zhuǎn)移約束P_t＝Δ*u_t-1+P_t-1，其中表示機(jī)器人與行人間最小允許間距；為便于求解，本方法以將上述數(shù)學(xué)描述轉(zhuǎn)化為強(qiáng)化學(xué)習(xí)的規(guī)范形式，即設(shè)狀態(tài)S＝[H，x，y，v_x，v_y，]，其中H為的全體；將約束的不等式轉(zhuǎn)換為差值形式，差值形式的加權(quán)和為定義獎勵函數(shù)為即將不等約束轉(zhuǎn)化為懲罰項(xiàng)的形式，優(yōu)化目標(biāo)即轉(zhuǎn)化為argmin_π∈∏r；同時，記未知的動態(tài)模型為p(S_t|S_t-1，u_t-1)～∑N(S|μ，∑)，待估值函數(shù)為通過強(qiáng)化學(xué)習(xí)方法構(gòu)建Agent，完成實(shí)時路徑規(guī)劃；將控制指令發(fā)送至行走電機(jī)控制器給定，推動機(jī)器人按規(guī)劃軌跡行進(jìn)。