[發明專利]一種垃圾車翻桶動作識別方法、裝置及垃圾車

在審

• 申請號: 202011536760.6
• 申請日: 2020-12-23
• 公開（公告）號: CN112633168A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 張軒瑜;羅輝輝;尹崢暉;艾宇
• 申請（專利權）人: 長沙中聯重科環境產業有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;B65F3/02
• 代理公司: 長沙智嶸專利代理事務所(普通合伙) 43211
• 代理人: 黃海波

1.一種垃圾車翻桶動作識別方法，其特征在于，包括步驟：

提取一次完整翻桶過程中，根據設定的幀速率所采集的每一幀圖像；

在每一幀圖像中針對垃圾箱進行目標檢測，得到每一幀圖像中的垃圾箱初步檢測結果，所述初步檢測結果包括顏色、數量和目標框在圖像中的位置信息；

將所檢測到的每一幀圖像中的垃圾箱初步檢測結果進行匯總統計，得到當前翻桶過程中垃圾箱的目標參數規格，所述目標參數規格包括顏色、數量和容量。

2.根據權利要求1所述的垃圾車翻桶動作識別方法，其特征在于，提取一次完整翻桶過程中，根據設定的幀速率所采集的每一幀圖像，包括步驟：

根據每一幀圖像中最大目標像素區域大小MaxAeraSize與圖像的總像素區域大小ImageShape中的占比，確定每一幀圖像在翻桶過程中的狀態，所述狀態包括起始幀、結束幀、正在翻桶和未在翻桶；

提取翻桶過程中狀態為起始幀、結束幀、正在翻桶的每一幀圖像。

3.根據權利要求2所述的垃圾車翻桶動作識別方法，其特征在于，所述根據每一幀圖像中最大目標像素區域大小MaxAeraSize與圖像的總像素區域大小ImageShape中的占比，確定每一幀圖像在翻桶過程中的狀態，包括步驟：

獲取每一幀圖像中的最大目標像素區域大小MaxAeraSize和圖像的總像素區域大小ImageShape；

若MaxAeraSize＝ImageShape×Ts，判斷設定指示參數是否為真，若為真則將當前幀圖像的狀態記為起始幀，若為假則將當前幀圖像的狀態記為正在翻桶；

若MaxAeraSizeImageShape×Ts，判斷設定指示參數是否為假，若為假，則將當前幀圖像的狀態記為結束幀，若為真，則將當前幀圖像的狀態記為未在翻桶。

4.根據權利要求3所述的垃圾車翻桶動作識別方法，其特征在于，

所述將當前幀圖像的狀態記為起始幀，具體包括步驟：

計算當前幀圖像與上一次垃圾箱翻桶過程結束幀的時間差TimeGap1；

若TimeGap1Tt1，則將當前幀圖像的狀態記為起始幀，Tt1為設定閾值；

所述將當前幀圖像的狀態記為結束幀，具體包括步驟：

計算從MaxAeraSize＝ImageShape×Ts到MaxAeraSizeImageShape×Ts的時間差TimeGap2；

若TimeGap2Tt2，將當前幀圖像的狀態記為結束幀，Tt2為設定閾值。

5.根據權利要求4所述的垃圾車翻桶動作識別方法，其特征在于，

若TimeGap2Tt2，將當前幀圖像的狀態記為結束幀，具體包括步驟：

若TimeGap2Tt2，統計在TimeGap2期間識別的幀數S；

若STn時，將當前幀圖像的狀態記為結束幀，Tn為設定閾值。

6.根據權利要求1所述垃圾車翻桶動作識別方法，其特征在于，

提取一次完整翻桶過程中，根據設定的幀速率所采集的每一幀圖像之前，還包括步驟：

采集各種作業環境下的垃圾車翻桶圖像數據，對垃圾車翻桶圖像數據進行標注后作為訓練樣本訓練并得到目標檢測模型，所述目標檢測模型包括YOLOv3-tiny、Faster-RCNN。

7.根據權利要求1所述的垃圾車翻桶動作識別方法，其特征在于，

在每一幀圖像中針對垃圾箱進行目標檢測，得到每一幀圖像中的垃圾箱初步檢測結果，包括步驟：

依次對每一幀圖像中垃圾箱進行目標檢測，獲得每一幀圖像中垃圾箱所在的倉位、顏色、垃圾箱數量、目標框與圖像設定位置的垂直距離；

將每一幀圖像中所獲得的顏色編碼后，采用累加的方式存入相應四元數組Tsh_i的指定元素中；將每一幀圖像中所獲得的垃圾箱數量編碼后，采用累加的方式存入相應二元數組Qua_i的指定元素中。