[發(fā)明專利]基于深度學(xué)習(xí)的鑄件外觀缺陷檢測方法

在審

• 申請?zhí)枺?/td>: 202110401364.0
• 申請日: 2021-04-14
• 公開（公告）號(hào): CN113096098A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 劉冬;叢明;盧長奇;肖慶陽;方建儒;葛春東
• 申請（專利權(quán)）人: 大連理工大學(xué);大連亞明汽車部件股份有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N3/08
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 李曉亮;潘迅

1.一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測方法，其特征在于，主要包括模型的訓(xùn)練階段和最終的檢測階段：

所述的訓(xùn)練階段主要包括以下幾個(gè)步驟：

步驟1：在實(shí)際生產(chǎn)線上搭建圖像獲取模塊，選擇的工位在鑄件機(jī)加工的最后一道工序—清洗工序后；在此工位上，將相機(jī)和鏡頭布置在相機(jī)支架上；在實(shí)際的應(yīng)用中，當(dāng)待檢測的工件經(jīng)過清洗之后，機(jī)械臂抓取該工件后將該工件放置到相機(jī)前進(jìn)行圖像的獲取；通過圖像獲取模塊在生產(chǎn)線上捕獲缺陷壓鑄件的圖片，并將缺陷圖片保存到電腦終端，通過圖像采集模塊獲得800張缺陷圖片；

步驟2：對所獲取的800張缺陷圖片進(jìn)行數(shù)據(jù)增強(qiáng)后，獲得2500張缺陷圖片；

步驟3：采用Imglabel軟件對所步驟(2)得到的缺陷圖片的缺陷部位進(jìn)行缺陷標(biāo)注，獲得用于模型訓(xùn)練的數(shù)據(jù)集；

步驟4：對標(biāo)注后獲得的數(shù)據(jù)集進(jìn)行kmeans聚類操作，根據(jù)kmeans的操作結(jié)果來對錨點(diǎn)的大小進(jìn)行更改，進(jìn)而選擇適合本數(shù)據(jù)集的anchor值的大小；

步驟5：將步驟(4)標(biāo)注好的數(shù)據(jù)集上傳到云端服務(wù)器，同時(shí)將已用于工業(yè)領(lǐng)域的深度學(xué)習(xí)模型RefineAtt遷移到云端，并通過標(biāo)注好的數(shù)據(jù)集對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，在訓(xùn)練的過程中監(jiān)測損失函數(shù)大小的變化情況，在損失函數(shù)幾乎不發(fā)生變化時(shí)將最終訓(xùn)練后的權(quán)重系數(shù)保存下來；

所述的在工廠的環(huán)境中進(jìn)行缺陷檢測階段的步驟主要如下：

步驟1：將基于收集的缺陷圖片訓(xùn)練好的深度學(xué)習(xí)模型由云端服務(wù)器端下放到在邊緣服務(wù)器上；

步驟2：在進(jìn)行缺陷檢測開始之前，首先需要打開邊緣服務(wù)器并在服務(wù)器上加載訓(xùn)練好的深度學(xué)習(xí)模型；

步驟3：在工廠現(xiàn)場通過圖像獲取模塊采集流水線上的待檢測工件的表面圖片，并將其保存在本地上；

步驟4：利用5G的低延時(shí)和高帶寬優(yōu)點(diǎn)，將從工業(yè)相機(jī)獲取的圖片通過5G網(wǎng)絡(luò)向服務(wù)器終端發(fā)送請求；

步驟5：邊緣端服務(wù)器接受到來自終端的請求時(shí)，邊緣測的服務(wù)器接受由終端上傳來的圖片，將該圖片輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中，通過神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算得到該圖片的檢測結(jié)果；

步驟6：在云服務(wù)器上獲取的檢測結(jié)果通過5G網(wǎng)絡(luò)反饋到電腦終端；檢測結(jié)果包括缺陷類別和位置坐標(biāo)；

步驟7：電腦終端接受云服務(wù)器的檢測結(jié)果并在電腦終端顯示出來。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測系統(tǒng)的使用方法，其特征在于，所述訓(xùn)練階段步驟(4)具體為：

采用Kmeans算法對數(shù)據(jù)集中的目標(biāo)的大小進(jìn)行聚類處理，來獲得適用于本數(shù)據(jù)集的錨點(diǎn)大小值和長寬比；同時(shí)對錨點(diǎn)的鋪設(shè)方式進(jìn)行重新的設(shè)計(jì)，在原本相鄰的4個(gè)錨點(diǎn)值中間增加一個(gè)錨點(diǎn)，來提高對小型缺陷檢測的召回率。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測方法，其特征在于，所述訓(xùn)練階段步驟(5)具體為：

在原本的模型后增加注意力機(jī)制，即增加了ATT模塊；使得神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的時(shí)候可以更多的關(guān)注圖片中存在缺陷的區(qū)域，提高檢測的準(zhǔn)確率；

在訓(xùn)練的開始階段，設(shè)定學(xué)習(xí)率為0.0001，批大小設(shè)定為16，并且采用學(xué)習(xí)率衰減策略，每迭代40000iterations學(xué)習(xí)率變?yōu)槌跏紝W(xué)習(xí)率的0.1倍；在訓(xùn)練的過程中不斷監(jiān)測損失函數(shù)的變化以及驗(yàn)證集的準(zhǔn)確率，當(dāng)損失函數(shù)的大小和驗(yàn)證集的準(zhǔn)確率不在發(fā)生變化時(shí)，保存訓(xùn)練好的權(quán)重系數(shù)；

由于背景信息會(huì)對小型缺陷的檢測造成干擾；在該步驟中采用一種對比訓(xùn)練的策略；在收集缺陷的同時(shí)，收集數(shù)量相當(dāng)?shù)臒o缺陷圖片，在訓(xùn)練的時(shí)候讓網(wǎng)絡(luò)結(jié)構(gòu)對比學(xué)習(xí)，降低背景信息對檢測的干擾。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測方法，其特征在于，所述缺陷檢測階段中的步驟(4)具體為：

客戶端和服務(wù)器端采用的通信方式是基于flask的client/server的部署模式，將訓(xùn)練好的模型加載到云端服務(wù)器上，作為后續(xù)進(jìn)行訪問的server，并且通過電腦終端的client發(fā)送請求，進(jìn)行缺陷檢測。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測方法，其特征在于，所述缺陷檢測階段中的步驟(5)具體為：首先通過深度學(xué)習(xí)方法確定出缺陷可能發(fā)生的位置，將該位置截取出來，并進(jìn)一步使用數(shù)字圖像處理技術(shù)來對該區(qū)域進(jìn)行最后的識(shí)別處理。