[發(fā)明專利]一種智能道路清理裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810005623.6
• 申請(qǐng)日: 2018-01-03
• 公開（公告）號(hào): CN108205324B
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 張麗;萬(wàn)徽;李泊辰;李文清
• 申請(qǐng)（專利權(quán)）人: 耀維科技南京有限公司
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02;E01H1/00
• 代理公司: 北京高航知識(shí)產(chǎn)權(quán)代理有限公司 11530
• 代理人: 喬浩剛

1.一種智能道路清理裝置，其特征在于，包括信息采集模塊、控制器、中央處理模塊、移動(dòng)機(jī)構(gòu)和清理機(jī)構(gòu)，其中：

所述信息采集模塊用于采集清理裝置前方的信息，并將采集到的信息上傳至所述中央處理模塊；

所述中央處理模塊用于根據(jù)從所述信息采集模塊采集到的信息，識(shí)別出裝置前方的障礙物以或垃圾所在的位置及距離，確定裝置的移動(dòng)和清理動(dòng)作，并將相應(yīng)的動(dòng)作指令發(fā)送至所述控制器；

所述控制器用于根據(jù)接收到的動(dòng)作指令控制所述移動(dòng)模塊和清理模塊進(jìn)行移動(dòng)和道路清理；

所述清理機(jī)構(gòu)設(shè)置于裝置下方，用于在所述控制器的控制下進(jìn)行垃圾的清理和收集；

所述移動(dòng)機(jī)構(gòu)設(shè)置于所述清理機(jī)構(gòu)下方，用于在所述控制器的控制下實(shí)現(xiàn)整個(gè)裝置的移動(dòng)；

其中，所述信息采集模塊包括雙目攝像頭和超聲波傳感器，

所述雙目攝像頭用于采集清理裝置前方的目標(biāo)區(qū)域圖像；

所述超聲波傳感器用于探測(cè)清理裝置前方的障礙物或垃圾的位置和距離；

所述中央處理模塊包括探測(cè)單元和決策單元，其中

所述探測(cè)單元用于根據(jù)從所述超聲波傳感器探測(cè)到的障礙物或垃圾的位置標(biāo)記感興趣區(qū)域，通過(guò)對(duì)從所述雙目攝像頭獲取的目標(biāo)區(qū)域圖像進(jìn)行處理，識(shí)別出感興趣區(qū)域中障礙物或垃圾的具體位置，并傳輸?shù)剿鰶Q策單元；

所述決策單元用于根據(jù)障礙物或垃圾的具體位置，生成合適的動(dòng)作指令，并將所述指令發(fā)送到控制器中；

其中，所述探測(cè)單元包括三維地圖建立子單元、圖像標(biāo)定子單元、圖像預(yù)處理子單元、目標(biāo)分割子單元和目標(biāo)識(shí)別子單元，其中：

所述地圖建立子單元用于根據(jù)從所述超聲波傳感器獲取的信息建立三維地圖，并標(biāo)記感興趣區(qū)域；

所述圖像標(biāo)定子單元用于對(duì)從所述雙目攝像頭采集的目標(biāo)區(qū)域圖像進(jìn)行標(biāo)定處理，將目標(biāo)區(qū)域圖像的二維坐標(biāo)轉(zhuǎn)化成與所述三維地圖對(duì)應(yīng)的三維坐標(biāo)；

所述圖像預(yù)處理子單元用于對(duì)從所述雙目攝像頭采集的目標(biāo)區(qū)域圖像進(jìn)行預(yù)處理，獲取預(yù)處理后的目標(biāo)區(qū)域圖像；

所述目標(biāo)分割子單元用于對(duì)所述預(yù)處理后的目標(biāo)區(qū)域圖像中的障礙物或垃圾進(jìn)行分割處理，獲取分割目標(biāo)圖像；

所述目標(biāo)識(shí)別子單元用于對(duì)所述目標(biāo)分割圖像進(jìn)行識(shí)別處理，并根據(jù)分割目標(biāo)在圖像中所在的坐標(biāo)位置、標(biāo)定處理結(jié)果及目視覺(jué)視差原理，獲取障礙物或垃圾的具體位置；

所述目標(biāo)分割子單元用于對(duì)所述預(yù)處理后的目標(biāo)區(qū)域圖像中的障礙物或垃圾進(jìn)行分割處理，獲取分割目標(biāo)圖像，具體包括：

(1)將從雙目攝像頭的兩個(gè)攝像頭分別獲取的對(duì)應(yīng)的兩幅預(yù)處理后的目標(biāo)區(qū)域圖像分別標(biāo)記為S’₁和S’₂；

(2)采用圖像分割算法對(duì)預(yù)處理后的目標(biāo)區(qū)域圖像S’₁進(jìn)行目標(biāo)分割，其中預(yù)處理后的目標(biāo)區(qū)域圖像S’₁中每個(gè)像素點(diǎn)可以表示為其中x＝1,2,…,X，X表示像素點(diǎn)的總數(shù)，表示該像素點(diǎn)為表示目標(biāo)的前景，表示該像素點(diǎn)為背景；

(3)采用輪廓抽取算法提取出目標(biāo)的輪廓集合為Ψ＝{Ψ₁,Ψ₂,…,Ψ_C}，其中每個(gè)輪廓Ψ_c表示一條封閉曲線，c＝1,2,…,C，C表示輪廓集合中輪廓的總數(shù)，該向量記錄了目標(biāo)邊界上的像素點(diǎn)位置其中L_c表示輪廓Ψ_c中像素點(diǎn)的總數(shù)；

(4)將預(yù)處理后的目標(biāo)區(qū)域圖像S’₁中輪廓集合Ψ中的每一個(gè)輪廓Ψ_c映射到預(yù)處理后的目標(biāo)區(qū)域圖像S’₂中，獲取目標(biāo)在圖像S’₂的邊界輪廓，具體為：

(41)構(gòu)建狀態(tài)遷移矩陣其中狀態(tài)遷移矩陣的尺寸為L(zhǎng)_c×H，H表示視差的取值范圍，H∈[d_min,d_max]，d_min和d_max分別表示視差取值的最小值和最大值，狀態(tài)遷移矩陣中每個(gè)元素的取值為E_st(x,e)，E_st(x,e)表示S’₁中像素點(diǎn)y_x與S’₂中視差為d_e的對(duì)應(yīng)像素點(diǎn)的狀態(tài)能量；

(42)采用自定義狀態(tài)能量公式獲取狀態(tài)遷移矩陣中每個(gè)元素的狀態(tài)能量E_st(x,e)：

其中，

式中，E_st(x,e)表示S’₁中像素點(diǎn)y_x與S’₂中視差為d_e的對(duì)應(yīng)像素點(diǎn)的狀態(tài)能量，v_e表示在S’₂中與S’₁中像素點(diǎn)y_x視差為d_e的對(duì)應(yīng)像素點(diǎn)，v_e＝y(tǒng)_x-d_e，E(y_x,v_e)表示像素點(diǎn)y_x與像素點(diǎn)v_e的目標(biāo)能量函數(shù)，Ψ_s(y_x,v_e)表示像素點(diǎn)y_x與像素點(diǎn)v_e的視覺(jué)匹配代價(jià)，其中Φ(y_x)表示以像素點(diǎn)y_x為中心的一個(gè)局部窗口，其大小為w×w，Q(y_m)＝1表示像素點(diǎn)y_m屬于前景，v_n＝y(tǒng)_m-d_e，B_h(y_m)和B_h(v_n)分別表示像素點(diǎn)y_m和v_n的R/G/B色度值，ω₀表示對(duì)象邊界權(quán)重，ω₁表示對(duì)象平滑權(quán)重，Ψ_O(y_x,v_e)表示對(duì)象邊界匹配代價(jià)，其中P_r(O|y_n)表示像素點(diǎn)v_n屬于前景的后驗(yàn) 概率，N(y_x-y_x-1)表示像素點(diǎn)y_x和y_x-1的平滑度代價(jià)，其中β_d表示設(shè)定的視差不連續(xù)閾值；

(43)對(duì)狀態(tài)遷移矩陣采用回溯算法，獲取最優(yōu)能量路徑，將最優(yōu)能量路徑上的每個(gè)對(duì)應(yīng)的像素點(diǎn)y_x映射到S’₂中得到唯一對(duì)應(yīng)輪廓點(diǎn)y_x-d_e，得到預(yù)處理后的目標(biāo)區(qū)域圖像S’₁中輪廓Ψ_c映射到預(yù)處理后的目標(biāo)區(qū)域圖像S’₂后的最佳匹配輪廓Ψ_c^‘；

(44)在預(yù)處理后的目標(biāo)區(qū)域圖像S’₂中獲取目標(biāo)所有輪廓邊界的最佳匹配輪廓，并根據(jù)映射的最佳匹配輪廓分割出目標(biāo)，獲取分割目標(biāo)圖像。

2.根據(jù)權(quán)利要求1所述的一種智能道路清理裝置，其特征在于，所述圖像預(yù)處理子單元用于對(duì)從所述雙目攝像頭采集的目標(biāo)區(qū)域圖像進(jìn)行預(yù)處理，獲取預(yù)處理后的目標(biāo)區(qū)域圖像，具體為：

(1)將目標(biāo)區(qū)域圖像中每個(gè)像素點(diǎn)(x,y)的RGB灰度值轉(zhuǎn)換到HSV顏色空間；

(2)對(duì)目標(biāo)區(qū)域圖像中每個(gè)像素點(diǎn)(x,y)，選擇以像素點(diǎn)(x,y)為中心的一個(gè)12×12鄰域圖像塊，對(duì)這個(gè)鄰域圖像塊進(jìn)行小波變換，獲取像素點(diǎn)(x,y)的局部噪聲水平N_n(x,y)：

式中，N_n(x,y)表示局部噪聲水平，Mediαn{·}表示中值函數(shù)，{|γ_HH|}表示鄰域圖像塊進(jìn)行小波變換獲取的第一層HH子帶系數(shù)絕對(duì)值集合；

(3)獲取像素點(diǎn)(x,y)的背景值R(x,y)和梯度值T(x,y)

式中，R(x,y)表示像素點(diǎn)(x,y)的背景值，V(x+α,y+β)表示HSV顏色空間中像素點(diǎn)(x+α,y+β)的亮度值，T(x,y)表示像素點(diǎn)(x,y)的梯度值，T_x(x,y)表示像素點(diǎn)(x,y)的水平方向梯度，T_y(x,y)示像素點(diǎn)(x,y)的豎直方向梯度；

如果則利用經(jīng)驗(yàn)函數(shù)獲取增強(qiáng)后的背景值R′(x,y)和梯度值T′(x,y)：

式中，μ表示設(shè)定的增強(qiáng)閾值，η表示設(shè)定的增強(qiáng)效果調(diào)整因子，N_n(x,y)表示像素點(diǎn)(x,y)的局部噪聲水平，R′(x,y)表示像素點(diǎn)(x,y)增強(qiáng)后的背景值，T′(x,y)表示像素點(diǎn)(x,y)增強(qiáng)后的梯度值，θ_αβ表示設(shè)定的經(jīng)驗(yàn)標(biāo)量系數(shù)，其中θ_αβ表示2×1的系數(shù)向量，則θ_αβ中總共包括20個(gè)經(jīng)驗(yàn)標(biāo)量系數(shù)；

否則，則設(shè)定R′(x,y)＝R(x,y)，T′(x,y)＝T(x,y)；

(4)獲取對(duì)比度增強(qiáng)模型參數(shù)P(x,y)和Q(x,y)

其中，

式中，ω(x,y,x′,y′)表示權(quán)重系數(shù)，Φ(x,y)表示以像素點(diǎn)(x,y)為中心的4×4的矩形區(qū)域的像素點(diǎn)集合，T(x′,y′)和T′(x′,y′)分別表示像素點(diǎn)(x′,y′)增強(qiáng)前后的梯度值，R(x′,y′)和R′(x′,y′)分別表示像素點(diǎn)(x′,y′)增強(qiáng)前后的背景值，θ(x,y)表示歸一化系數(shù)，和分別表示空間域和值域的模糊程度控制因子；

(5)利用下列對(duì)比度增強(qiáng)模型對(duì)目標(biāo)區(qū)域圖像進(jìn)行對(duì)比度增強(qiáng)：

V′(x,y)＝P(x,y)·V(x,y)+Q(x,y)

式中，V′(x,y)表示對(duì)比度增強(qiáng)后像素點(diǎn)(x,y)在HSV顏色空間中的亮度值，V(x,y)表示對(duì)比度增強(qiáng)前像素點(diǎn)(x,y)在HSV顏色空間中的亮度值，P(x,y)和Q(x,y)分別表示對(duì)比度增強(qiáng)模型參數(shù)；

(6)將增強(qiáng)后的每個(gè)像素點(diǎn)從HSV顏色空間變換到RGB顏色空間，得到處理后的目標(biāo)區(qū)域圖像。