[發明專利]一種路面清潔度判定和自動清掃方法及自動清掃環衛裝置

有效

• 申請號: 202011172360.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112257623B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 曹立波;廖家才;陳凱;王韜;趙青才
• 申請（專利權）人: 長沙立中汽車設計開發股份有限公司
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/70;G06V10/764;G06V10/422;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京律譜知識產權代理有限公司 11457
• 代理人: 孫紅穎

1.一種基于語義分割的路面清潔度判定和自動清掃方法，具體包括以下步驟：

步驟1、通過車輛的前置攝像頭采集車輛前方路面信息，收集和標注路面垃圾識別和分割的數據集；

收集和標注路面垃圾分類識別數據集，在城區馬路、工業園水泥路面、郊區水泥路面場景下采集路面垃圾的圖像，并對其中的泥土、石頭、樹葉、水瓶進行標注；

步驟2、進行路面垃圾語義分割網絡訓練；

步驟2.1 、修改原始的Unet++網絡，從上采樣層每個分支引出一個單獨上采樣輸出層，輸出層和原始的Unet++網絡的輸出層一起計算訓練損失；

步驟2.2 、設置損失函數，所有的輸出預測分支都使用相同的損失函數來計算損失，最終的訓練損失是所有分支損失的平均值；

步驟2.3 、設置神經網絡訓練的超參數；

步驟3、將網絡移植到嵌入式車載平臺，實現在線預測車載攝像頭輸入的實時路面數據；

步驟4、根據路面垃圾預測結果，使用度量算法，計算路面清潔度值，依據路面清潔度值對路面清潔度進行分級；該步驟中，度量算法包括兩部分：

步驟4.1、對路面的垃圾分類進行統計和度量，泥土、石頭、樹葉、水瓶依次賦予不同的權重，進而計算類別度量值；

識別到泥土、泥土時，類別權重設置為0.15, 識別到樹葉時，類別權重設置為0.1，識別為水瓶時，類別權重設置為0.1，總類別的權重為每次識別類別的權重總和；

步驟4.2、對路面的垃圾面積進行度量，進而計算面積度量值；

面積度量依據語義分割的結果，識別的垃圾總的面積超過識別面積的60%時，面積度量值設置為0.25，識別的垃圾總的面積超過識別面積的30%時，面積度量值設置為0.15，識別的垃圾總的面積小于識別面積的30%時，面積度量值設置為0.1；

步驟4.3、計算路面清潔度值，路面清潔度值為類別度量值與面積度量值之和；依據面積度量值、路面垃圾類別權重度量值直接計算路面清潔度值；

步驟4.4、根據計算得到的路面清潔度值，劃分路面清潔度等級；

步驟5、將路面清潔度分級結果和路面垃圾預測結果顯示在車內顯示屏上，根據路面清潔度評估結果調整清掃車上裝機構的清掃力度，實現智能化清掃；清掃力度控制的依據是清潔度等級劃分結果，清潔度值小于0.3時，清掃力度設置為正常力度，清潔度大于0.3小于0.6時，使用中等力度清掃，清潔度值大于0.6時，使用大力度清掃路面；

步驟6、在垃圾語義實例分割的結果基礎上，根據垃圾類別，反饋給路面清潔人員，實現可利用垃圾非回收。

2.根據權利要求1所述的基于語義分割的路面清潔度判定和自動清掃方法，其特征在于：步驟5中，將路面清潔度分級結果和路面垃圾預測結果顯示在車內顯示屏上，路面垃圾分割結果、清潔度值、清潔度等級、清掃力度等級直接通過人機交互界面反饋給駕駛員；語義分割提供的路面垃圾類別、所占面積用來生成類別權重度量值和面積度量值，這兩個度量值用來控制路面清潔度值的計算，進而影響清潔度等級的劃分；創建了完整的語義感知、清潔度值計算、清潔度等級度量、自動清掃控制方法；所述方法利用語義分割感知信息的特點，結合度量算法得到了一種路面清潔度等級劃分和自動清掃力度控制的方法。

3.一種自動清掃環衛裝置，其特征在于：采用了權利要求1-2中任一所述的基于語義分割的路面清潔度判定和自動清掃方法。