[發(fā)明專利]一種基于數(shù)據(jù)增強的生活垃圾數(shù)據(jù)集生成方法

在審

• 申請?zhí)枺?/td>: 202210022048.7
• 申請日: 2022-01-10
• 公開（公告）號: CN114429573A
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 楊建紅;蔡振興;李建濤;房懷英;陳偉鑫;計天晨;楊天成;胡楊洋;汪鑫;黃斐智;冀效勝
• 申請（專利權(quán)）人: 華僑大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/22;G06V10/46;G06K9/62;G06V20/10;G06F16/51;G06F16/55;G06F16/583
• 代理公司: 廈門市首創(chuàng)君合專利事務(wù)所有限公司 35204
• 代理人: 連耀忠

一種基于Copy?Paste數(shù)據(jù)增強的生活垃圾數(shù)據(jù)集生成方法，具體包括：將生活垃圾分作若干批次，每一批次為相同類別，并且分批將生活垃圾稀疏放置在傳送帶上；使用RGB?D采集系統(tǒng)對物體進(jìn)行彩色圖和高度圖的圖像采集；利用高度圖中物體的輪廓信息和高度信息，對彩色圖進(jìn)行自動標(biāo)注；以沒有生活垃圾的純傳送帶背景作為圖片模板，通過Copy?Paste將N個物體隨機粘貼到圖像模板上，N為整數(shù)，生成第一批生活垃圾數(shù)據(jù)集A1；使用第一批生活垃圾數(shù)據(jù)集A1對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練；使用訓(xùn)練好的深度學(xué)習(xí)模型對未標(biāo)注的生活垃圾數(shù)據(jù)集D進(jìn)行預(yù)測；以帶有偽標(biāo)簽的數(shù)據(jù)集作為圖像模板，對第一批生活垃圾數(shù)據(jù)集A1通過Copy?Paste進(jìn)行數(shù)據(jù)增強生成第二批生活垃圾數(shù)據(jù)集A2；合并第一批生活垃圾數(shù)據(jù)集A1和第二批生活垃圾數(shù)據(jù)集A2，形成合并生活垃圾數(shù)據(jù)集B1。本發(fā)明提出的方法可以生成大量的生活垃圾數(shù)據(jù)集，快速高效地擴充生活垃圾數(shù)據(jù)集，有助于深度學(xué)習(xí)模型的訓(xùn)練，提高生活垃圾識別的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)及生活垃圾識別領(lǐng)域，尤其涉及一種基于Copy-Paste數(shù)據(jù)增強的生活垃圾數(shù)據(jù)集生成方法。

背景技術(shù)

在計算機圖像識別領(lǐng)域，基于深度學(xué)習(xí)的圖像目標(biāo)檢測目標(biāo)成為了重要的研究方向，近年來，深度學(xué)習(xí)技術(shù)在生活垃圾分類與識別方面得到了廣泛應(yīng)用，然而數(shù)據(jù)樣本量不足和數(shù)據(jù)樣本類別不均衡成為制約深度學(xué)習(xí)在生活垃圾目標(biāo)識別中的重要因素，在構(gòu)建用于分類的大量標(biāo)記數(shù)據(jù)集時，需要一個專業(yè)人員對每個圖像進(jìn)行標(biāo)注，會出現(xiàn)標(biāo)記數(shù)據(jù)很耗時和標(biāo)記數(shù)據(jù)可能很昂貴的問題。

此外，在一個特定的場景中找到一個包含實例的大型標(biāo)記數(shù)據(jù)集是不大可能的，一旦場景改變，原來的模型便無法準(zhǔn)確檢測物體，所以每一個具有新實例的新環(huán)境又需要進(jìn)行數(shù)據(jù)重新收集和注釋。而在工程應(yīng)用上需要的是一個標(biāo)準(zhǔn)化的系統(tǒng)，能夠高效快速地獲取大量的有效數(shù)據(jù)集供模型進(jìn)行訓(xùn)練。

在此之前，解決這類問題一個較為成功的研究方向是使用合成渲染的場景和對象作為數(shù)據(jù)集來進(jìn)行訓(xùn)練。然而這種方法需要耗費很大的工作量來使得場景及對象盡可能地逼真，確保高質(zhì)量的全局和局部一致性。另外，通過這種合成數(shù)據(jù)集訓(xùn)練的模型泛化能力很差。

因此，現(xiàn)有技術(shù)需要一種基于Copy-Paste數(shù)據(jù)增強的生活垃圾數(shù)據(jù)集生成方法，在真實圖像中粘貼真實對象的掩膜，從而減少對圖形渲染的依賴。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)存在的上述問題，本發(fā)明提出一種基于Copy-Paste數(shù)據(jù)增強的生活垃圾數(shù)據(jù)集生成方法，能夠快速高效地擴充標(biāo)注的生活垃圾數(shù)據(jù)集，代替人工標(biāo)注，節(jié)省人力和成本，并且提高深度學(xué)習(xí)模型檢測的性能，進(jìn)一步提升生活垃圾識別的準(zhǔn)確率。

本發(fā)明采用如下技術(shù)方案：

一種基于Copy-Paste數(shù)據(jù)增強的生活垃圾數(shù)據(jù)集生成方法，方法具體步驟如下：

將生活垃圾分作若干批次，每一批次為相同類別，并且分批將生活垃圾稀疏放置在傳送帶上；

使用RGB-D采集系統(tǒng)對物體進(jìn)行彩色圖和高度圖的圖像采集；

利用高度圖中物體的輪廓信息和高度信息，對彩色圖進(jìn)行自動標(biāo)注；

通過Copy-Paste將N個物體隨機粘貼到圖像模板上，N為整數(shù)，生成第一批生活垃圾數(shù)據(jù)集A1；

使用第一批生活垃圾數(shù)據(jù)集A1對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練；

使用訓(xùn)練好的深度學(xué)習(xí)模型對未標(biāo)注的生活垃圾數(shù)據(jù)集D進(jìn)行預(yù)測；

以帶有偽標(biāo)簽的數(shù)據(jù)集作為圖像模板，通過Copy-Paste對第一批生活垃圾數(shù)據(jù)集A1進(jìn)行數(shù)據(jù)增強，從而生成第二批生活垃圾數(shù)據(jù)集A2；

合并第一批生活垃圾數(shù)據(jù)集A1和第二批生活垃圾數(shù)據(jù)集A2，形成合并生活垃圾數(shù)據(jù)集B1。