[發(fā)明專(zhuān)利]基于YOLO-v3的布面疵點(diǎn)檢測(cè)及輔助裝置與方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011111554.0
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN112215824A
• 公開(kāi)（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)雪飛;王玨;李業(yè);孫強(qiáng);徐晨
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南通大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06K9/62;G01N21/89;G05B19/05
• 代理公司: 北京盛凡智榮知識(shí)產(chǎn)權(quán)代理有限公司 11616
• 代理人: 李洪波

1.一種基于YOLO-v3的布面疵點(diǎn)檢測(cè)及輔助裝置，包括在線生產(chǎn)運(yùn)行的布匹，該布匹采用卷布輥進(jìn)行輸送，所述卷布輥采用變頻電機(jī)驅(qū)動(dòng)，其特征在于：還包括工業(yè)攝像機(jī)、圖像采集卡、處理器、寄存器、PLC控制器、顯示屏、制動(dòng)塊和退繞輥；所述工業(yè)攝像機(jī)位于布匹上方；所述退繞輥也采用變頻電機(jī)驅(qū)動(dòng)；所述制動(dòng)塊分別設(shè)置在卷布輥和退繞輥上；所述工業(yè)攝像機(jī)、圖像采集卡、處理器、寄存器、PLC控制器之間電性連接，所述PLC控制器分別與顯示屏及變頻電機(jī)電性連接。

2.一種根據(jù)權(quán)利要求1所述的基于YOLO-v3的布面疵點(diǎn)檢測(cè)及輔助裝置的處理方法，其特征在于，包括疵點(diǎn)檢查與布匹修復(fù)輔助，具體為：

疵點(diǎn)檢查包括以下步驟：

a.制作訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集；

b.根據(jù)常見(jiàn)疵點(diǎn)的種類(lèi)確定模型的結(jié)構(gòu)與訓(xùn)練參數(shù)，導(dǎo)入訓(xùn)練數(shù)據(jù)，開(kāi)始訓(xùn)練模型的權(quán)重；

c.保存訓(xùn)練好的模型的權(quán)重，并測(cè)試。實(shí)現(xiàn)布匹疵點(diǎn)的自動(dòng)監(jiān)測(cè)；

d.疵點(diǎn)檢測(cè)裝置檢測(cè)到疵點(diǎn)時(shí)，將疵點(diǎn)類(lèi)型及位置信息寫(xiě)入系統(tǒng)；

布匹修復(fù)輔助

布匹修復(fù)輔助包括以下步驟：

a.讀取存儲(chǔ)的疵點(diǎn)信息；

b.將疵點(diǎn)檢測(cè)裝置檢測(cè)完的布匹重新退繞至疵點(diǎn)位置處；

c.疵點(diǎn)信息顯示在顯示屏上，輔助人工修補(bǔ)。

3.根據(jù)權(quán)利要求2所述的基于YOLO-v3的布面疵點(diǎn)檢測(cè)及輔助裝置的處理方法，其特征在于：所述疵點(diǎn)檢查步驟a中，將工業(yè)攝像機(jī)拍下的疵點(diǎn)圖片用高斯金字塔下采樣壓縮至416x416像素，保存為常用的jpeg、png、bmp格式，再經(jīng)過(guò)人工篩選確定疵點(diǎn)類(lèi)型及位置，寫(xiě)入txt或xml格式文件中，具體為圖片名，疵點(diǎn)類(lèi)型，疵點(diǎn)坐標(biāo)。

4.根據(jù)權(quán)利要求2所述的基于YOLO-v3的布面疵點(diǎn)檢測(cè)及輔助裝置的處理方法，其特征在于：所述疵點(diǎn)檢查步驟b中，模型的輸入的是416x416x3的三維RGB預(yù)處理圖片；疵點(diǎn)檢測(cè)算法輸出三種不同尺寸的特征圖，根據(jù)布面疵點(diǎn)的特點(diǎn)，確定特征圖大小分別為13x13x255、26x26x255、52x52x255；滿(mǎn)足不同尺寸形態(tài)的疵點(diǎn)，小尺度的特征圖可以檢測(cè)出細(xì)小的物體，大尺度特征圖可以檢測(cè)出粗粒度的物體；使得大中小疵點(diǎn)都能檢測(cè)出來(lái)；完成了疵點(diǎn)檢查后，還需預(yù)測(cè)疵點(diǎn)出現(xiàn)的范圍，具體是：將特征圖分成一個(gè)網(wǎng)格，網(wǎng)格可細(xì)化成一個(gè)網(wǎng)格單元，每種特征圖會(huì)對(duì)應(yīng)三種錨框，設(shè)定了三種尺度的特征圖，總共有9種錨框，用k均值聚類(lèi)的方法根據(jù)預(yù)先標(biāo)記好的疵點(diǎn)位置確定9種錨框尺寸；預(yù)測(cè)框有四個(gè)參數(shù)，分別是b_x、b_y、b_w和b_h；計(jì)算公式按(1-4)：

b_x＝σ(t_x)+C_x (1)

b_y＝σ(t_y)+C_y (2)

其中t_x，t_y代表預(yù)測(cè)的坐標(biāo)偏移值，t_w，t_h是尺度縮放；C_x，C_y是特征圖左上角網(wǎng)格單元的坐標(biāo)，每個(gè)網(wǎng)格單元的尺寸都是1x1；p_w，p_h是預(yù)設(shè)的錨框映射到特征圖中的寬和高，σ(·)表示邏輯回歸，通過(guò)邏輯回歸對(duì)預(yù)測(cè)框做微調(diào)；

用IOU交并比確定預(yù)測(cè)框的準(zhǔn)確程度，公式如(5)：

其中A是預(yù)測(cè)框，B是真實(shí)框；

確定每個(gè)網(wǎng)格單元有3種錨框，與真實(shí)框重合最大的那個(gè)作為預(yù)測(cè)框，其余錨框不參與預(yù)測(cè)，再對(duì)預(yù)測(cè)框做平移，尺度放縮；通過(guò)不斷訓(xùn)練學(xué)習(xí)調(diào)整權(quán)重來(lái)優(yōu)化預(yù)測(cè)框四個(gè)的參數(shù)，使得預(yù)測(cè)框和真實(shí)框的交并比能達(dá)到最大；

設(shè)定閾值，當(dāng)交并比小于該閾值時(shí)，則認(rèn)為是錯(cuò)誤預(yù)測(cè)而不顯示，只有當(dāng)交并比大于該閾值時(shí)才顯示預(yù)測(cè)框，這里閾值設(shè)為0.6；

損失函數(shù)是四個(gè)部分的疊加，即對(duì)預(yù)測(cè)的中心坐標(biāo)做損失，對(duì)預(yù)測(cè)邊界框的寬高做損失，對(duì)預(yù)測(cè)的類(lèi)別做損失和對(duì)預(yù)測(cè)的置信度做損失。