[發明專利]基于深度學習的數字微鏡高亮缺陷檢測方法

在審

• 申請號: 202011393074.8
• 申請日: 2020-12-03
• 公開（公告）號: CN112465787A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 牛斌;張福民;關小梅;曲興華
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08;G06T7/10;H04N5/235;H04N5/374
• 代理公司: 暫無信息
• 代理人: 暫無信息

基于深度學習的數字微鏡高亮缺陷檢測方法，屬于視覺檢測技術領域，解決了高亮工件表面缺陷識別效率低下的問題。本發明所述的方法建立在數字微鏡器件計算成像系統之上，高亮缺陷表面的強反射光線經過空間光調制器即數字微鏡器件的光強調制之后進入相機CMOS面成像，數字微鏡器件的光強調制使用自適應光強調制方法，得到高亮缺陷的高動態范圍圖像，通過采集多幅圖像制作高動態范圍圖像數據集，結合深度學習目標檢測框架Mask RCNN，使用GPU訓練神經網絡，最終實現高亮缺陷的快速檢測和分割，彌補了單獨使用數字微鏡器件或者深度學習網絡的不足，提高了檢測效率。

技術領域

本發明涉及視覺檢測技術領域，特別涉及一種基于深度學習的數字微鏡高亮缺陷檢測方法。

技術背景

傳統的基于數字微鏡器件的計算成像系統通過反射式空間光調制器能夠實現高動態范圍成像，提高成像清晰度，但系統不具備檢測和識別缺陷像素坐標和缺陷種類的能力，而深度學習算法作為計算機視覺領域的重要研究方向，很難單純在軟件上對高亮的缺陷圖像進行分類和分割，通過基于數字微鏡器件的計算成像系統制作高動態范圍圖像數據集，將二者結合，能夠實現高亮工件表面缺陷的智能定位、分類和分割，其可應用于普通低動態相機無法正常檢測識別缺陷的工業領域。

發明內容

本發明的目的在于提出了一種基于深度學習的數字微鏡高亮缺陷檢測方法，該方法基于數字微鏡器件計算成像系統來實現。該發明有利于提高高亮工件表面缺陷的檢測效率。

本發明所述的基于深度學習的數字微鏡高亮缺陷檢測方法，是基于數字微鏡器件計算成像系統來實現的。

所述計算成像系統包括灰度CMOS相機1、雙向遠心鏡頭2、全內反射棱鏡3、數字微鏡器件4、雙膠合消色差透鏡5、高亮缺陷樣品6、處理器7。

數字微鏡器件4是一種反射式空間光調制器，有0°、+12°、-12°三個狀態(+12°為開啟狀態，-12°為關閉狀態)。

高亮缺陷樣品6的反射光線經過雙膠合消色差透鏡5后在全內反射棱鏡3的全反射下成像在數字微鏡器件4的鏡面上，數字微鏡器件由數百萬個可編程控制的微鏡所組成，通過設計合適的掩模控制反射光光強，經調制后的光強經過雙向遠心鏡頭2會聚到灰度CMOS相機1的傳感器上，雙向遠心鏡頭2能夠在一定的成像范圍內保證放大倍率的穩定。

處理器7為采用]GTX 2080TI圖像處理器的計算機，保證能夠實現高分辨率高動態范圍圖像和龐大數據集下的神經網絡訓練工作。

所述方法包括：

步驟1、將高亮缺陷樣品6放在計算成像系統雙膠合消色差透鏡5的視野內，調整好樣品到透鏡的距離，像距和物距的比值為透鏡的放大倍數；

步驟2、數字微鏡器件4處于完全開啟狀態，灰度CMOS相機1采集設計好的數字微鏡器件棋盤格圖案，提取棋盤格角點坐標，獲取數字微鏡和CMOS像素之間的映射關系矩陣；

步驟3、數字微鏡器件4處于完全開啟狀態，灰度CMOS相機1采集高亮缺陷圖片，提取高亮區域，設計合適的數字微鏡器件掩模；

步驟4、通過掩模控制數字微鏡器件4的開啟關閉周期，灰度CMOS相機1采集得到高動態范圍圖像數據集；

步驟5、通過高動態范圍圖像數據集訓練目標檢測神經網絡，得到高亮缺陷下的神經網絡檢測模型，驗證得到高亮缺陷的Mask以及定位框像素坐標。

步驟2中數字微鏡和CMOS像素之間的非線性映射關系采用梯度下降法求得，相比于之前的最小二乘法，擬合精度更高，擬合結果更加穩定，其擬合關系式為：

其中(u，v)為CMOS像素坐標系，(x，y)為數字微鏡坐標系，a和b為擬合系數。