[發明專利]一種基于深度學習和法向圖的零件缺陷檢測和定位方法

在審

• 申請號: 201810063526.2
• 申請日: 2018-01-23
• 公開（公告）號: CN108389181A
• 公開（公告）日: 2018-08-10
• 發明（設計）人: 宋佳;張揚;郭延文
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06N3/04
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

1.一種基于深度學習和法向圖的零件缺陷檢測和定位方法，其特征在于，包括以下步驟：

步驟1：采集原始圖像并計算得到材質表面法向圖；

步驟2：對材質表面法向圖進行網格劃分，得到劃分后的圖像；

步驟3：用具有不同缺陷的零件劃分后的材質表面法向圖以及步驟2劃分后的圖像訓練模型；

步驟4：采集待檢測零件圖像并計算材質表面法向圖；

步驟5：對待檢測零件的材質表面法向圖進行網格劃分；

步驟6：根據步驟3得到的訓練好的模型用步驟5得到的劃分后的圖像作為輸入進行缺陷檢測；

步驟7：根據步驟6的檢測結果以及步驟5的劃分結果進行反饋和定位缺陷位置。

2.如權利要求1所述的方法，其特征在于，步驟1包括如下步驟：

步驟1-1，在遮光箱內側涂上亞光材料，遮光箱頂端中心處固定相機，在遮光箱底部設置平臺，用于放置待拍攝零件；在遮光箱內部設置燈光組，燈光組包括：頂部燈光組，設置在相機鏡頭下方3cm處；底部燈光組，設置在遮光箱底部，包括四條LED燈帶，在平臺下側；四周燈光組，設置在平臺上側20cm處，并與遮光箱內側四周與底部夾角呈45°，四周燈光組根據燈光打亮時拍攝圖片亮度范圍分別命名為東部燈組、南部燈組、西部燈組和北部燈組；在所有燈組上放置濾光膜，以形成方向光源；平臺上不放置任何物體，打開頂部燈光組，相機進行拍攝，拍攝圖片存儲為Top；

步驟1-2，打開東部燈組，相機進行拍攝，拍攝圖片存儲為East；

步驟1-3，打開西部燈組，相機進行拍攝，拍攝圖片存儲為West；

步驟1-4，打開北部燈組，相機進行拍攝，拍攝圖片存儲為North；

步驟1-5，打開南部燈組，相機進行拍攝，拍攝圖片存儲為South；

步驟1-6，將材質樣本平整的放置于半透明平臺中央部分，在相機鏡頭上放置濾光鏡，依次打開頂部燈組，東部燈組，西部燈組，北部燈組，南部燈組以及底部燈組，并打開相機進行拍攝，將拍攝的圖片依次存儲為Image_T1，Image_E1，Image_W1，Image_N1，Image_S1和Image_B1，最后打開除底部燈組外的其他燈組，并打開相機進行拍攝，拍攝圖片存儲為Image_F1；

步驟1-7，取下相機鏡頭上放置的濾光鏡，依次打開頂部燈組，東部燈組，西部燈組，北部燈組以及南部燈組，并打開相機進行拍攝，將拍攝的圖片依次存儲為Image_T2，Image_E2，Image_W2，Image_N2和Image_S2，最后打開除底部燈組外的其他燈組，并打開相機進行拍攝，拍攝圖片存儲為Image_F2；

步驟1-8，將拍攝圖片North，South，West，East和Top轉換為單通道浮點亮度圖，分別記為NorthL，SouthL，WestL，EastL和TopL；

步驟1-9，計算(TopL-NorthL)<0的所有像素的平均值的絕對值，記為AvgN；計算(TopL-SouthL)<0的所有像素的平均值的絕對值，記為AvgS；計算(TopL-WestL)<0的所有像素的平均值的絕對值，記為AvgW；計算(TopL-EastL)<0的所有像素的平均值的絕對值，記為AvgE；

步驟1-10，計算(TopL-NorthL)+AvgN的值，即得到北部方向補償信息，存儲為ImageAdjust_N；

計算(topL-SouthL)+AvgS的值，即得到南部方向補償信息，存儲為ImageAdjust_S；

計算(topL-WestL)+AvgW的值，即得到西部方向補償信息，存儲為ImageAdjust_W；

計算(topL-EastL)+AvgE的值，即得到東部方向補償信息，存儲為ImageAdjust_E；

步驟1-11，將圖片Image_N1，Image_S1，Image_W1，Image_E1，Image_T1都轉換為單通道浮點亮度值，以圖片的格式保存，分別記為Image_NL1，Image_SL1，Image_WL1，Image_EL1，Image_TL1；

步驟1-12，使用參數α對Image_NL1，Image_SL1，Image_WL1和Image_EL1進行修正，公式如下：

Image_NLN1＝Image_NL1_Data+ImageAdjust_N*α-Image_TL1，

Image_SLN1＝Image_SL1_Data+ImageAdjust_S*α-Image_TL1，

Image_WLN1＝Image_WL1_Data+ImageAdjust_W*α-Image_TL1，

Image_ELN1＝Image_EL1_Data+ImageAdjust_E*α-Image_TL1；

其中Image_NL1_Data表示Image_NL1的像素值，Image_SL1_Data表示Image_SL1的像素值，Image_WL1_Data表示Image_WL1的像素值，Image_EL1_Data表示Image_EL1的像素值，Image_NLN1、Image_SLN1、Image_WLN1、Image_ELN1為得到的修正結果；

步驟1-13，新建兩個三通道的圖像NorthWest和SouthEast，將Image_WLN1的值作為NorthWest的R通道的值，Image_NLN1的值作為NorthWest的G通道的值，并將NorthWest圖像色階調整到0.5～0，將Image_ELN1的值作為SouthEast的R通道的值，Image_SLN1的值作為SouthEast的G通道的值，并將圖像SouthEast的色階調整到0.5～1.0，然后將NorthWest和SouthEast兩張圖片以疊加的方式進行混合得到圖片Temp1，R通道、G通道、B通道分別表示紅通道、綠通道、藍通道；

假設圖像的像素值為p，將色階調整到A～B的計算方式為：

Pnew＝P*(B-A)+A，

Pnew表示調整后像素值；

疊加方式圖像混合方式計算方法為：

Temp1＝2*NorthWest*SouthEast；

Temp1為計算得到的結果，以圖片的格式保存；

步驟1-14，對圖像Temp1進行去褶皺處理：使用高斯濾波對圖像Temp1的R通道和G通道分別進行高斯濾波，高斯函數如下：

該高斯函數表示大小為(2k+1)*(2k+1)的高斯卷積核，G_xy表示高斯核在點(x,y)位置處高斯函數值，σ為方差，參數k的值用于確定核矩陣的維數，σ的計算方式為：

根據σ計算出高斯核矩陣的每個像素的權值，對圖像Temp1中每個像素進行如下計算：以該像素自身為中心乘以這個核矩陣的值作為該像素新的值，從而得到平滑后的圖像，記為Smooth1；

步驟1-15，通過圖像Temp1與Smooth1計算出使用濾光膜的一組圖片的法向信息Shape1，公式如下：

Shape1＝Temp1-Smooth1+127；

步驟1-16，將圖片Image_N2，Image_S2，Image_W2，Image_E2，Image_T2，使用步驟1-11～步驟1-15的方法，得到不使用濾光膜的一組圖片的法向信息，記為Shape2，將Shape1與Shape2通過如下公式進行融合得到最終材質表面法向信息Shape：

Shape＝(Shape1+Shape2)*0.5；

步驟1-17，計算材質表面法向信息：Shape圖像的R通道和B通道已知，而材質表面法向即通過歸一化Shape圖像的RGB三通道得到，假設R通道的像素值為r，G通道的像素值為g，則B通道的像素值b的計算公式如下：

將B通道像素值從[0,1]轉到[0,255]即得到最終的材質表面法向圖。