[發明專利]基于小樣本學習和虛擬合成數據的工業零件目標檢測方法

在審

• 申請號: 202310274497.5
• 申請日: 2023-03-21
• 公開（公告）號: CN116363085A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 陸慧敏;陳修;李玉潔;蔡金彤
• 申請（專利權）人: 江蘇共知自動化科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開一種基于小樣本學習和虛擬合成數據的工業零件目標檢測方法，先通過虛擬仿真軟件制作與真實零件具有相似幾何形狀的零件合成數據集，同時輸出對應圖像的標注信息，整個數據采集過程自動化執行無需繁雜的人工操作。對采集的合成數據進行數據預處理，將其圖像格式和標注信息轉為訓練目標檢測網絡需要的格式，接著在這些合成數據上訓練基于小樣本學習的目標檢測網絡，使網絡獲得在合成數據上檢測的能力。采集真實工業場景下的圖像，對這些圖像進行人工標注，標注完成后對目標檢測網絡進行二次訓練，微調網絡的參數，最終訓練的網絡實時檢測輸出當前場景圖像中零件的類別和位置。

技術領域

本發明涉及一種基于小樣本學習和虛擬合成數據的工業零件目標檢測方法，屬于計算機視覺、目標檢測、虛擬合成數據、智能機器人等技術領域。

背景技術

以自動化技術和人工智能系統為驅動的機器人工廠旨在解決日常生產中重復、費力的任務。為了使機器人能夠像人一樣準確的進行生產活動，機器人需要使用機械臂在工業環境下自主抓取物體。雖然在利用深度學習進行機器人抓取方面取得了重大進展，但在實際應用中，訓練一個深度神經網絡需要大規模帶有人工標注的數據集，獲取涵蓋各種工業場景和零件排列情況的高質量RGB數據集是一項非常耗時耗力的任務。因此，對于工業場景的目標檢測任務，需要構建一個不需要過多人工標注工作的檢測方法。

針對工業場景數據采集的問題，根據訓練數據種類的不同，可以分為兩類方法：基于虛擬合成數據的方法，基于小樣本學習的方法。

基于虛擬合成數據的方法：現有的虛擬合成數據生成方法主要應用于場景、行人和車輛的識別研究，這些研究涵蓋了圖像的分類、語義分割和目標檢測等。合成數據通過虛擬軟件得到，在虛擬的三維環境中利用圖形引擎快速地合成與標注數據。在機器人研究中，參考文獻[1]使用各種模擬器的虛擬環境對機器人識別系統進行訓練，這些虛擬環境重點是對目標物體的物理特性進行模擬。近期游戲引擎的發展使得其既可以實現物理引擎的仿真，也可以實時渲染出真實度很高的圖像，計算機視覺研究者也開始使用游戲引擎開展相關研究。在參考文獻[2]提出了使用虛擬環境訓練行人檢測的分類器，然后將訓練好的行人分類器用于真實圖像的行人檢測任務，使用域適應算法將虛擬數據集向真實數據集進行遷移。參考文獻[3]提出了SYNTHIA虛擬數據集來完成語義分割任務，SYNTHIA實現了對一個大規模虛擬城市場景的渲染，提供11個自動駕駛場景下常用類別物體的像素級標注。參考文獻[4]提出了使用Unity等最新的圖形技術引擎制作合成數據集，達到虛擬數據擬合到真實數據的目的。該引擎可以為不同的計算機視覺任務提供數據，包括光流、實例語義分割、目標檢測和跟蹤及視覺里程計等。

基于小樣本學習的方法：小樣本學習是指用于訓練神經網絡的數據僅使用幾個帶有注釋的訓練示例。參考文獻[5]使用貝葉斯推理從預訓練模型中泛化知識以執行一次性學習。參考文獻[6]的LSTD和參考文獻[7]的RepMet采用了一種通用的遷移學習框架，通過將預訓練的檢測器適應于小樣本場景來減少過擬合。參考文獻[8]的Meta?YOLO使用參考文獻[9]的YOLO?v2設計了一種新穎的小樣本檢測模型，該模型學習可泛化的元特征，并通過從支持示例中生成特定于類的激活系數來自動重新加權新類的特征。參考文獻[10]的TFA通過在第二階段對分類器微調，可以簡單地執行兩階段微調方法，并獲得更好的性能。參考文獻[11]的CoAE提出了非局部RPN，并通過將自身與其他跟蹤方法進行比較，從跟蹤的角度關注單次檢測。