[發(fā)明專利]基于深度學習的數(shù)字微鏡高亮缺陷檢測方法

在審

• 申請?zhí)枺?/td>: 202011393074.8
• 申請日: 2020-12-03
• 公開（公告）號: CN112465787A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設計）人: 牛斌;張福民;關小梅;曲興華
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08;G06T7/10;H04N5/235;H04N5/374
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于深度學習的數(shù)字微鏡高亮缺陷檢測方法，其特征在于，所述方法基于數(shù)字微鏡器件的計算成像系統(tǒng)來采集高動態(tài)范圍圖像數(shù)據(jù)集；

所述計算成像系統(tǒng)包括灰度CMOS相機(1)、雙向遠心鏡頭(2)、全內(nèi)反射棱鏡(3)、數(shù)字微鏡器件(4)、雙膠合消色差透鏡(5)、高亮缺陷樣品(6)、處理器(7)；

數(shù)字微鏡器件(4)是一種反射式空間光調(diào)制器，有0°、+12°、-12°三個狀態(tài)(+12°為開啟狀態(tài)，-12°為關閉狀態(tài))；

高亮缺陷樣品(6)為釹鐵硼材料，材料表面在強光照射下存在漫反射以及鏡面反射光，缺陷處反射光以鏡面反射為主；

高亮缺陷樣品(6)的反射光線經(jīng)過雙膠合消色差透鏡(5)后在全內(nèi)反射棱鏡(3)的全反射下成像在數(shù)字微鏡器件(4)的鏡面上，數(shù)字微鏡器件由數(shù)百萬個可編程控制的微鏡所組成，通過設計合適的掩模控制反射光光強，經(jīng)調(diào)制后的光強經(jīng)過雙向遠心鏡頭(2)會聚到灰度CMOS相機(1)的傳感器上，雙向遠心鏡頭(2)能夠在一定的成像范圍內(nèi)保證放大倍率的穩(wěn)定；

處理器(7)為采用GTX 2080TI圖像處理器的計算機，保證能夠?qū)崿F(xiàn)高分辨率高動態(tài)范圍圖像和龐大數(shù)據(jù)集下的神經(jīng)網(wǎng)絡訓練工作；

所述方法包括：

步驟1、將高亮缺陷樣品(6)放在計算成像系統(tǒng)雙膠合消色差透鏡(5)的視野內(nèi)，調(diào)整好樣品到透鏡的距離，像距和物距的比值為透鏡的放大倍數(shù)；

步驟2、數(shù)字微鏡器件(4)處于完全開啟狀態(tài)，灰度CMOS相機(1)采集設計好的數(shù)字微鏡器件棋盤格圖案，提取棋盤格角點坐標，獲取數(shù)字微鏡和CMOS像素之間的映射關系矩陣；

步驟3、數(shù)字微鏡器件(4)處于完全開啟狀態(tài)，灰度CMOS相機(1)采集高亮缺陷圖片，提取高亮區(qū)域，設計合適的數(shù)字微鏡器件掩模圖案；

步驟4、通過掩模控制數(shù)字微鏡器件(4)的開啟關閉周期，灰度CMOS相機(1)采集得到高動態(tài)范圍圖像數(shù)據(jù)集；

步驟5、通過高動態(tài)范圍圖像數(shù)據(jù)集訓練目標檢測神經(jīng)網(wǎng)絡，得到高亮缺陷下的神經(jīng)網(wǎng)絡檢測模型，驗證得到高亮缺陷的Mask以及定位框像素坐標。

2.根據(jù)權利要求1所述的一種基于深度學習的數(shù)字微鏡高亮缺陷檢測方法，其特征在于，在光路中加入了全內(nèi)反射棱鏡(3)，在折疊光路的同時最大程度的保證了光利用效率。

3.根據(jù)權利要求1所述的一種基于深度學習的數(shù)字微鏡高亮缺陷檢測方法，其特征在于，數(shù)字微鏡和CMOS像素之間的非線性映射關系采用梯度下降法求得，相比于之前的最小二乘法，擬合精度更高，擬合結果更加穩(wěn)定，其擬合關系式為：

其中(u，v)為CMOS像素坐標系，(x，y)為數(shù)字微鏡坐標系，a和b為擬合系數(shù)。

4.根據(jù)權利要求1所述的一種基于深度學習的數(shù)字微鏡高亮缺陷檢測方法，其特征在于，數(shù)字微鏡器件的掩模生成算法改用線性變換或者指數(shù)變換的方式生成，相比于之前的迭代算法，節(jié)省了運算時間，包括以下步驟：

步驟4.1、灰度CMOS相機(1)采集高亮缺陷圖片；

步驟4.2、對高亮缺陷圖片進行灰度取反操作，然后對圖像的灰度值進行線性變換或者指數(shù)變化等圖像增強算法處理，選取合適的變換參數(shù)；

步驟4.3、將掩模導入到數(shù)字微鏡器件，數(shù)字微鏡按照一定周期偏轉(zhuǎn)，灰度CMOS相機(1)采集到高動態(tài)范圍圖像數(shù)據(jù)集。

5.根據(jù)權利要求1所述的一種基于深度學習的數(shù)字微鏡高亮缺陷檢測方法，其特征在于，將深度學習算法應用到數(shù)字微鏡器件計算成像系統(tǒng)中，目標檢測框架以Mask RCNN為基礎，使用采集到的高動態(tài)范圍圖像為數(shù)據(jù)集，檢測缺陷種類為掉角(Drop horn)和劃痕(Scratch)，神經(jīng)網(wǎng)絡會對高亮缺陷的Mask以及定位框像素坐標進行標注，以采用到的缺陷檢測識別的正確率來判斷神經(jīng)網(wǎng)絡的性能，訓練集識別正確率為99.5％，測試集識別正確率為90.0％。

6.根據(jù)權利要求3所述的數(shù)字微鏡和CMOS像素單元之間的映射關系矩陣采用梯度下降法求取，基于Python的TensorFlow框架實現(xiàn)。

7.根據(jù)權利要求5所述的深度學習目標檢測框架Mask RCNN基于Windows平臺下Python編寫的TensorFlow框架實現(xiàn)。