[發明專利]一種多層級的智能手機屏幕缺陷檢測方法

有效

• 申請號: 202110489131.0
• 申請日: 2021-04-30
• 公開（公告）號: CN113221881B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 陳垣毅
• 申請（專利權）人: 浙大城市學院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/25;G06K9/62;G06N3/04;G06T3/40;G06T5/00;G06T5/20;G06T5/50;G06T7/00;G06T7/194
• 代理公司: 杭州九洲專利事務所有限公司 33101
• 代理人: 張羽振

1.一種多層級的智能手機屏幕缺陷檢測方法，其特征在于，包括以下步驟：

步驟1、人工標注圖像中的缺陷，然后對前景缺陷圖像和背景圖像進行分離；在標注的前景缺陷圖像基礎上，對前景缺陷圖像在顏色和尺寸上進行增強；最后結合增強后的前景缺陷圖像和背景圖像生成數據集；

步驟1.1、人工標注出少量圖像中每個前景缺陷圖像所處的矩形區域位置和類別信息，然后對前景缺陷圖像和背景圖像進行分離；

步驟1.2、對前景缺陷圖像進行圖像降噪處理：采用中值濾波處理圖像噪聲，將目標點的灰度值設定為目標點周圍一區域所有點的中值，剔除獨立噪聲信號；

采用拉普拉斯算子對降噪后的圖像進行銳化處理，增強圖像中物體和背景灰度值之間的差距：

上式中，f(x,y)為降噪后的圖像；為拉普拉斯變換后的圖像；c為增強系數；g(x,y)為增強后的圖像；

對前景缺陷圖像進行色度、銳度、亮度上的隨機調整，對前景缺陷圖像進行隨機角度的旋轉、固定比例范圍內的隨機縮放；

步驟1.3、在隨機選取的背景圖像區域，對其像素值做調整：

上式中，value_new是增強后的像素值；value_old為原像素值，取值范圍為0～255；brightness表示亮度比值，取值為0.9或1.1，brightness取值0.9 表示暗異色，brightness取值1.1表示亮異色；exp取值范圍為1.5～3；a和b分別表示矩形背景圖像區域寬度和高度的一半；factor表示某點到缺陷中心的距離和缺陷區域邊界到缺陷中心的距離之比；center_x和center_y表示矩形背景圖像區域中心的橫縱坐標，并以(center_x，center_y)為原點建立直角坐標系，x和y分別表示在矩形背景圖像區域內點的橫縱坐標；

步驟1.4、將前景缺陷圖像與目標興趣檢測區域的隨機位置進行圖像多頻段融合，對前景缺陷圖像和背景圖像構建拉普拉斯金字塔，對每一層進行融合：

上式中，上標i表示拉普拉斯金字塔的第i層；表示輸出的融合圖像的拉普拉斯金字塔的第i層的特征；表示前景缺陷圖像的拉普拉斯金字塔的第i層的特征；表示背景圖像的拉普拉斯金字塔的第i層的特征；Rⁱ表示第i層的融合區域；

步驟2、利用深度殘差網絡和特征金字塔網絡對數據集進行多尺度缺陷區域特征抽取，得到多尺度特征圖像；利用特征金字塔網絡將多尺度特征圖像融合，生成具有高級語義的高層特征圖，生成具有低級語義的淺層特征圖；由區域檢測網絡提供圖像中的缺陷候選區，再使用深度殘差網絡通過跳層連接將深度殘差網絡的輸入、輸出加在一起提取缺陷候選區的圖像特征；最后將特征圖進行分類；

步驟3、基于步驟2中特征圖像抽取目標興趣檢測區域：過濾背景信息；通過大尺度錨定的區域檢測網絡檢出不同工位拍攝的待檢測圖像的目標興趣檢測區域；

步驟4：在目標興趣檢測區域用區域檢測網絡生成待檢測潛在缺陷區域，并結合步驟2中特征圖像判斷每個待檢測潛在缺陷區域中是否有缺陷存在，得到缺陷的種類；再抽取等長的特征向量，區域檢測網絡通過設定不同尺度的錨定，以softmax函數判斷每個區域為前景缺陷圖像或背景的概率，并對前景缺陷圖像候選區域的位置進行回歸；

步驟5、輸出缺陷檢測結果。

2.根據權利要求1所述多層級的智能手機屏幕缺陷檢測方法，其特征在于，步驟4具體包括如下步驟：

步驟4.1、對數據集中缺陷樣本的尺寸及比例進行統計，進行錨定尺度的設定；錨定的長寬比例包括0.2、0.5、1、2和5，像素尺寸包括32像素、64像素、128像素、256像素和512像素；

步驟4.2、結合特征圖像，對缺陷候選區進行目標興趣檢測區域池化操作，對圖像特征進行歸一化處理，通過softmax函數將歸一化的圖像特征映射到缺陷類別的概率分布：

上式中，J(θ)為目標函數，N為樣本數，y為標注類別，為預測類別，θ為模型參數，R(θ)為防止過擬合的L²正則項，λ為參數項。

3.根據權利要求1所述多層級的智能手機屏幕缺陷檢測方法，其特征在于：步驟1中缺陷包括毛發、臟污、黑點、劃痕和異色。