[發(fā)明專利]基于小樣本學(xué)習(xí)和虛擬合成數(shù)據(jù)的工業(yè)零件目標(biāo)檢測方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310274497.5
• 申請(qǐng)日: 2023-03-21
• 公開（公告）號(hào): CN116363085A
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 陸慧敏;陳修;李玉潔;蔡金彤
• 申請(qǐng)（專利權(quán)）人: 江蘇共知自動(dòng)化科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N3/08;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 南京樂羽知行專利代理事務(wù)所(普通合伙) 32326
• 代理人: 李玉平

1.一種基于小樣本學(xué)習(xí)和虛擬合成數(shù)據(jù)的工業(yè)零件目標(biāo)檢測方法，其特征在于，先通過虛擬仿真軟件生成合成數(shù)據(jù)集，數(shù)據(jù)集中包含圖像數(shù)據(jù)和每張圖像數(shù)據(jù)所對(duì)應(yīng)的標(biāo)注信息；對(duì)合成數(shù)據(jù)集先進(jìn)行數(shù)據(jù)預(yù)處理，將合成數(shù)據(jù)的圖像格式和標(biāo)注信息轉(zhuǎn)為訓(xùn)練小樣本目標(biāo)檢測網(wǎng)絡(luò)需要的格式，接著對(duì)合成數(shù)據(jù)進(jìn)行進(jìn)一步的處理，通過人為設(shè)定遮擋率，篩選出小于該遮擋率的標(biāo)注信息，最后在這些處理完的合成數(shù)據(jù)上訓(xùn)練基于小樣本學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)；采集真實(shí)工業(yè)場景下包含零件的零件框圖像，對(duì)這些真實(shí)工業(yè)場景的圖像進(jìn)行標(biāo)注，標(biāo)注完成后對(duì)小樣本目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行二次訓(xùn)練，最終用訓(xùn)練的網(wǎng)絡(luò)實(shí)時(shí)檢測輸出當(dāng)前場景所采集的圖像中零件的類別和位置。

2.?根據(jù)權(quán)利要求1所述的基于小樣本學(xué)習(xí)和虛擬合成數(shù)據(jù)的工業(yè)零件目標(biāo)檢測方法，其特征在于，所述虛擬仿真軟件生成合成數(shù)據(jù)集，是使用仿真場景與虛擬相機(jī)代替真實(shí)場景和相機(jī)；基于Nvidia?Omniverse?Isaac?Sim軟件實(shí)現(xiàn)，通過?RTX?進(jìn)行實(shí)時(shí)光線和路徑追蹤，從而提供場景圖像；使用Isaac?Sim平臺(tái)中自帶的模型模擬與真實(shí)零件幾何相似的模型來生成合成數(shù)據(jù)。

3.?根據(jù)權(quán)利要求1所述的基于小樣本學(xué)習(xí)和虛擬合成數(shù)據(jù)的工業(yè)零件目標(biāo)檢測方法，其特征在于，通過虛擬仿真軟件生成合成數(shù)據(jù)集，在虛擬環(huán)境下如何進(jìn)行模型的搭建，包括生成相機(jī)和送料箱及其內(nèi)部零件；在生成虛擬送料箱之前需要定義用來表示送料箱的結(jié)構(gòu)；送料箱有五個(gè)表面，每個(gè)面使用Isaac?Sim自帶的Cube模型渲染合成得到；使用IsaacSim中提供的示例環(huán)境，將仿真好的送料箱加載到虛擬場景中，整個(gè)虛擬環(huán)境使用模擬光源真實(shí)還原室內(nèi)光照情況；接著進(jìn)行動(dòng)態(tài)場景生成，選取與工業(yè)場景零件幾何形狀相似的物體，使用Isaac?Sim中自帶的Circle模型通過微調(diào)參數(shù)信息，模擬零件的形狀幾何特征，并對(duì)該零件模型添加碰撞、重力、摩擦、光澤信息使其在虛擬環(huán)境中具有真實(shí)環(huán)境下的物理屬性；對(duì)該零件模型進(jìn)行批量復(fù)制，復(fù)制后的目標(biāo)對(duì)象共享參數(shù)；使用域隨機(jī)化方法對(duì)復(fù)制的零件模型每次生成的位置進(jìn)行有限制的隨機(jī)賦值；對(duì)隨機(jī)生成的位置（x,y,z,w）進(jìn)行區(qū)域限定，限制零件模型只出現(xiàn)在送料箱的范圍內(nèi)，由于物理引擎的支撐，不同的高度可以使每次生成的模型自由落下，下落過程中能夠仿真出真實(shí)下落過程中出現(xiàn)的碰撞、遮擋現(xiàn)象，重復(fù)多次后進(jìn)而增加了虛擬環(huán)境的多樣性。

4.根據(jù)權(quán)利要求1所述的基于小樣本學(xué)習(xí)和虛擬合成數(shù)據(jù)的工業(yè)零件目標(biāo)檢測方法，其特征在于，對(duì)生成的合成數(shù)據(jù)信息進(jìn)行預(yù)處理，首先，將先前合成數(shù)據(jù)集中圖像數(shù)據(jù)轉(zhuǎn)為所需格式；接著對(duì)合成數(shù)據(jù)集中的標(biāo)注信息進(jìn)行篩選和格式轉(zhuǎn)換，僅將2D包圍框這一種標(biāo)注信息單獨(dú)提取出來，并保存為xml格式的標(biāo)注文件。

5.根據(jù)權(quán)利要求4所述的基于小樣本學(xué)習(xí)和虛擬合成數(shù)據(jù)的工業(yè)零件目標(biāo)檢測方法，其特征在于，首先，使用標(biāo)注信息中的2D包圍框和實(shí)例分割信息進(jìn)行遮擋關(guān)系判斷，遮擋情況發(fā)生時(shí)，一定會(huì)存在遮擋物體和被遮擋物體，當(dāng)實(shí)例分割標(biāo)注信息中兩個(gè)相鄰像素的標(biāo)注不相同時(shí)，表明當(dāng)前這兩個(gè)像素各自對(duì)應(yīng)的零件存在遮擋情況，提取這兩個(gè)零件對(duì)應(yīng)的2D包圍框信息，計(jì)算它們2D包圍框的交集區(qū)域；根據(jù)當(dāng)前實(shí)例分割標(biāo)注信息中對(duì)應(yīng)的每個(gè)像素點(diǎn)的標(biāo)注信息判斷當(dāng)前交集區(qū)域內(nèi)屬于不同零件的像素點(diǎn)個(gè)數(shù)，較大的一方為遮擋零件，較少的一方為被遮擋零件；對(duì)合成數(shù)據(jù)集中的圖像中所有對(duì)象使用上述比對(duì)方法進(jìn)行兩兩比對(duì)后，得出遮擋關(guān)系圖，該遮擋關(guān)系圖在文件中的表現(xiàn)格式為N×N的方陣，N為當(dāng)前圖像中擁有的物體的數(shù)量，若[i,j]處的元素為-1，則代表當(dāng)前i物體和j物體存在遮擋；

接著，針對(duì)存在遮擋現(xiàn)象的零件，得到它們2D包圍框的交集，計(jì)算交集中遮擋零件對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)計(jì)算遮擋率；根據(jù)不同工業(yè)場景的實(shí)際需求，人為設(shè)定一個(gè)遮擋率，以該遮擋率為閾值對(duì)標(biāo)注數(shù)據(jù)進(jìn)行篩選，保留那些不被遮擋或遮擋較少的標(biāo)注信息；

最后使用一張真實(shí)工業(yè)場景圖片和Reinhard算法對(duì)合成數(shù)據(jù)進(jìn)行批量色彩遷移，使合成數(shù)據(jù)集更加貼近真實(shí)場景。