[發明專利]一種基于數據增強的生活垃圾數據集生成方法

在審

• 申請號: 202210022048.7
• 申請日: 2022-01-10
• 公開（公告）號: CN114429573A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 楊建紅;蔡振興;李建濤;房懷英;陳偉鑫;計天晨;楊天成;胡楊洋;汪鑫;黃斐智;冀效勝
• 申請（專利權）人: 華僑大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/22;G06V10/46;G06K9/62;G06V20/10;G06F16/51;G06F16/55;G06F16/583
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 連耀忠

1.一種基于數據增強的生活垃圾數據集生成方法，其特征在于，方法具體步驟如下：

將生活垃圾分作若干批次，每一批次為相同類別，并且分批將生活垃圾稀疏放置在傳送帶上；

使用RGB-D采集系統對物體進行彩色圖和高度圖的圖像采集；所述的RGB-D采集系統分為彩色成像模塊和高度成像模塊，所述的彩色成像模塊，由Linea Color Camera和同軸光源組成，用于采集物體的彩色圖；所述的高度成像模塊，為Laser Line-Scaning Sensor，其內部包含一個激光發射器和兩臺單色相機，用于采集物體的深度圖；所述的圖像采集為RGB-D系統使用編碼器將輸送帶的位移按固定的比例轉換為脈沖信號，然后同時觸發彩色成像模塊和高度成像模塊進行數據的采集；

利用高度圖中物體的輪廓信息和高度信息，對彩色圖進行自動標注；

通過Copy-Paste將N個物體隨機粘貼到圖像模板上，N為整數，生成第一批生活垃圾數據集A1；

使用第一批生活垃圾數據集A1對深度學習模型進行訓練；

使用訓練好的深度學習模型對未標注的生活垃圾數據集D進行預測；

以帶有偽標簽的數據集作為圖像模板，通過Copy-Paste對第一批生活垃圾數據集A1進行數據增強，生成第二批生活垃圾數據集A2；

合并第一批生活垃圾數據集A1和第二批生活垃圾數據集A2，形成合并生活垃圾數據集B1。

2.根據權利要求1所述的一種基于Copy-Paste數據增強的生活垃圾數據集生成方法，其特征在于，所述的利用高度圖中物體的輪廓信息和高度信息，對彩色圖進行自動標注，包括如下步驟：

讀取需要進行自動標注的生活垃圾圖像，獲取采集的高度圖中物體的輪廓信息以及高度信息；

利用高度圖的高度信息將傳送帶上的干擾物進行去除；

通過高度圖生成物體的掩膜圖像，得到物體的輪廓標簽；

對同一批次的物體進行自動標注類別，并將標簽信息保存在json文件中。

3.根據權利要求2所述的一種基于Copy-Paste數據增強的生活垃圾數據集生成方法，其特征在于，對高度圖生成的掩膜圖像使用OpenCV的findContours函數得到物體的輪廓標簽，并標注類別。

4.根據權利要求1所述的一種基于Copy-Paste數據增強的生活垃圾數據集生成方法，其特征在于，所述的圖像模板選擇污染程度不同、沒有生活垃圾的純傳送帶背景。

5.根據權利要求1所述的一種基于Copy-Paste數據增強的生活垃圾數據集生成方法，其特征在于，所述的深度學習模型包括但不限于實例分割模型和目標檢測模型。

6.根據權利要求1所述的一種基于Copy-Paste數據增強的生活垃圾數據集生成方法，其特征在于，所述的生活垃圾數據集Copy-paste數據增強，包括如下步驟：

讀取需要進行Copy-Paste數據增強的生活垃圾數據集的標簽，分離出生活垃圾數據集中每個物體以及物體的標簽信息；

選擇所要粘貼的圖像模板并生成分布點，將N個增強之后的物體隨機粘貼到所選的圖像模板上，同時將該N個物體的標簽信息存入該模板對應的標簽文件當中，N為整數。

最后，移除圖像模板中被完全遮擋的對象，并更新被部分遮擋的對象的掩膜和矩形框。

7.根據權利要求9所述的一種基于Copy-Paste數據增強的生活垃圾數據集生成方法生活垃圾數據集，其特征在于，所述標簽信息包括物體的輪廓信息以及物體的類別信息。