[發明專利]一種微觀晶圓表面缺陷圖像檢測方法

在審

• 申請號: 201810477639.7
• 申請日: 2018-05-18
• 公開（公告）號: CN108765389A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 趙昕玥;張樹有;何再興;劉明明;王宏遠;譚建榮
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種微觀晶圓表面缺陷圖像檢測方法，其特征在于：

1)由已標記缺陷類型及其標定包圍盒的微觀晶圓原始圖像構建訓練集；

2)由訓練集利用更快速區域卷積神經網絡方法和區域建議網絡結合進行模型訓練，得到最終模型；

3)采集工業生產中拍攝的微觀晶圓圖像，并用最終模型進行檢測得到圖像中缺陷的位置。

2.根據權利要求1所述的一種微觀晶圓表面缺陷圖像檢測方法，其特征在于：所述缺陷類型分為加熱不均hump、灰塵顆粒dust、機械損傷injury和液體殘留物blot的四種。

3.根據權利要求1所述的一種微觀晶圓表面缺陷圖像檢測方法，其特征在于：所述的缺陷類型的標定包圍盒為包圍缺陷的最小外接矩形。

4.根據權利要求1所述的一種微觀晶圓表面缺陷圖像檢測方法，其特征在于：所述步驟1)中，對所有微觀晶圓原始圖像進行擴充，對圖像進行旋轉、錯切和翻轉的操作，構成訓練集。

5.根據權利要求1所述的一種微觀晶圓表面缺陷圖像檢測方法，其特征在于：所述步驟3)具體為：

3.1)將訓練集圖像輸入ZFNet神經網絡模型進行訓練，獲取特征圖，具體過程如下：

3.1.1)通過卷積層處理得到原始特征圖；

3.1.2)將步驟3.1.1)獲取的原始特征圖采用Leaky ReLU作為激活函數進行激活，公式為：

其中，f(x)為輸出特征圖的像素值，λ為激活系數，x為輸入的原始特征圖的像素值；

3.1.3)將經過步驟3.1.2)激活獲得的特征圖做池化處理，池化方式是核為3×3的最大池化，公式為：

F(f(x))＝max(f(x),0)

其中，F(f(x))表示池化處理后的特征圖的像素值，當f(x)<0時，F(f(x))＝0；當f(x)≥0時，F(f(x))＝f(x)；

3.2)將步驟3.1.2)獲得的特征圖及其缺陷類別輸入區域建議網絡(RPN網絡)進行訓練，輸出預測框，具體過程如下：

3.2.1)建立大小為3×3的窗口，在特征圖上滑動窗口并在每個窗口下生成九個錨區，對于每個錨區，計算錨區與已知的標定包圍盒(tBox)之間的重合度p*：

其中，IoU表示錨區和標定包圍盒的交集與并集之比，anchor表示錨區，tBox表示標定包圍盒；

3.2.2)采用選擇性搜索(Selective Search)方法針對訓練集的圖像生成若干個候選框及其候選概率；

3.2.3)根據步驟3.2.1)獲取的錨區和步驟3.2.2)獲取的候選框，將候選框進行分類和回歸處理，輸出預測框；

構建以下損失函數對每一幅圖像進行分類和回歸處理，以損失函數最小為目標處理獲得預測框的尺寸參數(x,y,w,h)，損失函數具體公式為：

其中，N_cls為候選框的數目，表示第j個錨區與標定包圍盒的重合度，p_i表示第i個候選框的候選概率，λ為分類與回歸損失函數的權值，N_reg為圖像中錨區的數量，i表示候選框的序號，j表示錨區的序號，q表示標定包圍盒的序號；t_i表示第i個候選框的尺寸參數，表示第q個標定包圍盒的尺寸參數；表示為錨區和候選框下的分類損失函數，表示為候選框和標定包圍盒下的回歸損失函數；

分類損失函數計算為：

回歸損失函數計算為：

其中，第i個候選框的尺寸參數t_i由t_x、t_y、t_w和t_h構成，t_x和t_y表示候選框的中心坐標，t_w和t_h表示候選框的寬度和高度；第q個標定包圍盒的尺寸參數由和組成，和表示標定包圍盒的中心坐標，和表示標定包圍盒的寬度和高度；

上述候選框的中心坐標t_x和t_y以及候選框的寬度和高度t_w和t_h表示為：

上述標定包圍盒的中心坐標和以及標定包圍盒的寬度和高度和表示為：

其中，(x^*,y^*,w^*,h^*)表示標定包圍盒的尺寸參數，(x_a,y_a,w_a,h_a)為候選框的尺寸參數；(x,y,w,h)為預測框的尺寸參數，x和y表示預測框的中心坐標，w和h表示預測框的寬度和高度。