[發明專利]一種垃圾車翻桶動作識別方法、裝置及垃圾車

在審

• 申請號: 202011536760.6
• 申請日: 2020-12-23
• 公開（公告）號: CN112633168A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 張軒瑜;羅輝輝;尹崢暉;艾宇
• 申請（專利權）人: 長沙中聯重科環境產業有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;B65F3/02
• 代理公司: 長沙智嶸專利代理事務所(普通合伙) 43211
• 代理人: 黃海波

本發明公開了一種垃圾車翻桶動作識別方法、裝置及垃圾車，所述方法包括步驟：提取一次完整翻桶過程中，根據設定的幀速率所采集的每一幀圖像；在每一幀圖像中針對垃圾箱進行目標檢測，得到每一幀圖像中的垃圾箱初步檢測結果，所述初步檢測結果包括顏色、數量和目標框在圖像中的位置信息；將所檢測到的每一幀圖像中的垃圾箱初步檢測結果進行匯總統計，得到當前翻桶過程中垃圾箱的目標參數規格，所述目標參數規格包括顏色、數量和容量。本發明在車載邊緣計算單元的計算能力受限時，通過對整個翻桶過程中的每一幀圖像的目標檢測結果的統計分析，對垃圾箱的顏色、容量和數量信息做出判斷，大幅度提升對翻桶過程及相應垃圾桶的信息識別準確率。

技術領域

本發明涉及計算機視覺領域，特別地，涉及一種垃圾車翻桶動作識別方法、裝置及垃圾車。

背景技術

隨著環境污染和垃圾處理問題的日漸顯現，社會對垃圾分類回收的重視程度越來越高。對于收集垃圾箱的翻桶式垃圾車而言，如何監督車輛操作人員的操作規范以及統計他們的工作量是一項重要議題。對垃圾車的翻桶數據進行采集和統計是一個很好的思路。通過收集和統計翻桶過程中垃圾箱顏色、規格、數量、容量可以用來判斷該垃圾車所收的垃圾箱是否符合其規定收集的垃圾分類標準，也可以對環衛工作人員的工作量進行統計，作為垃圾車路線調度和工人績效計算的重要基礎。

近幾年來，基于深度學習的目標檢測算法取得了很大的突破。然而，考慮到成本和能耗，可以在垃圾車的這項工作中使用的邊緣計算單元的計算能力遠遠小于一般動作識別所需要的計算能力，計算能力的局限性使得一些復雜的目標檢測算法無法部署。此外，效果良好的動作識別算法大多是基于視頻樣本實現的，清楚地標明了動作的開始和結束。由于在車載邊緣計算單元的計算能力有限，因此不能使用視頻數據集，同時，正是因為車載邊緣計算單元的計算能力有限，其搭載的對象檢測模型(例如YOLOv3-tiny)的準確性通常也較低，物體檢測的邊界框尺寸在連續幀中不穩定，因此也不能直接由像素區域尺寸來確定。另外，因不同規格的垃圾箱外觀相同，只是大小不同，無法通過2D圖像的目標檢測直接區分它們。以上問題，最終都會導致基于深度學習進行采集和統計翻桶數據難以達到所需的精度，識別結果錯誤會導致數據統計不準，從而降低了垃圾車翻桶數據的準確性和可靠性。

發明內容

本發明一方面提供了一種垃圾車翻桶動作識別方法，以解決現有的垃圾車因車載邊緣計算單元的計算能力有限導致的垃圾車翻桶數據的準確性和可靠性較低的問題。

本發明采用的技術方案如下：

一種垃圾車翻桶動作識別方法，包括步驟：

提取一次完整翻桶過程中，根據設定的幀速率所采集的每一幀圖像；

在每一幀圖像中針對垃圾箱進行目標檢測，得到每一幀圖像中的垃圾箱初步檢測結果，所述初步檢測結果包括顏色、數量和目標框在圖像中的位置信息；

將所檢測到的每一幀圖像中的垃圾箱初步檢測結果進行匯總統計，得到當前翻桶過程中垃圾箱的目標參數規格，所述目標參數規格包括顏色、數量和容量。

進一步地，提取一次完整翻桶過程中，根據設定的幀速率所采集的每一幀圖像，包括步驟：

根據每一幀圖像中最大目標像素區域大小MaxAeraSize與圖像的總像素區域大小ImageShape中的占比，確定每一幀圖像在翻桶過程中的狀態，所述狀態包括起始幀、結束幀、正在翻桶和未在翻桶；

提取翻桶過程中狀態為起始幀、結束幀、正在翻桶的每一幀圖像。

進一步地，所述根據每一幀圖像中最大目標像素區域大小MaxAeraSize與圖像的總像素區域大小ImageShape中的占比，確定每一幀圖像在翻桶過程中的狀態，包括步驟：

獲取每一幀圖像中的最大目標像素區域大小MaxAeraSize和圖像的總像素區域大小ImageShape；