[發明專利]一種基于FPN與DETR融合改進的芯片缺陷檢測方法

在審

• 申請號: 202210081334.0
• 申請日: 2022-01-24
• 公開（公告）號: CN114463297A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 任獲榮;于澤洋;李向寧;趙偉;焦小強;駱虎林
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06N3/08;G06N3/04;G06K9/62;G06V10/44;G06V10/764;G06V10/82
• 代理公司: 鄭州知倍通知識產權代理事務所(普通合伙) 41191
• 代理人: 李玲玲

1.一種基于FPN與DETR融合改進的芯片缺陷檢測方法，其特征在于：含有以下步驟，

步驟1：獲取工業生產前端有缺陷芯片的圖像信息，標注缺陷位置及缺陷類別，使用圖像數據增強方法對數據集進行擴充；

步驟2：搭建改進的FPN特征金字塔網絡提取圖像的層次特征并融合；

步驟3：搭建改進的DETR網絡，將步驟2中經過改進的FPN網絡組合DETR網絡構成整體的分類網絡，先使用公開的數據集進行訓練，固定部分參數后繼續使用芯片缺陷數據集進行訓練，得到訓練好的網絡模型；

步驟4：使用訓練好的模型，對待檢測的圖像進行檢測分類并輸出結果。

2.根據權利要求1所述的基于FPN與DETR融合改進的芯片缺陷檢測方法，其特征在于：所述步驟1中使用矩形框標注缺陷位置并記錄矩形框的參數，標記缺陷類別設置缺陷類別為10類，對圖像進行平移、翻轉、鏡像、投影、縮放和加噪的操作，完成數據集的擴充。

3.根據權利要求1所述的基于FPN與DETR融合改進的芯片缺陷檢測方法，其特征在于：所述步驟2建立的FPN特征金字塔結構共4層，其中C1表示原圖，C2-C4分別表示經過卷積后的不同尺度特征，將C4所得的結果經過1*1的卷積操作得到M4，將M4采用最近鄰插值法上采樣與C3進過1*1的卷積后相加得到M3，同理可得M2，此時M2已經融合了C2-C4的特征信息，將M2展平為向量并保存，其中第一層卷積與第二層卷積均使用擴張率為1的卷積核，即為普通卷積，第三層卷積使用膨脹率為2的卷積核，擴大感受野，第四層卷積使用膨脹率為4的卷積核加強全局特征的提取。

4.根據權利要求1所述的基于FPN與DETR融合改進的芯片缺陷檢測方法，其特征在于：所述步驟3中的經過改進的DETR網絡包括編碼器、解碼器和分類網絡三個部分，使用步驟2中提取的特征向量及其空間位置編碼相加，送入編碼器中得到編碼器輸出，解碼器的輸入由兩部分組成，第一部分為編碼器的輸出，第二部分為對象查詢向量，其中對象查詢的維度為預測缺陷最大目標數，經過解碼器的輸出繼續輸入分類網絡中，分類網絡由一個前饋神將網絡和N個SVM二分類網絡組成，前饋神經網絡用來預測選框的位置及大小，待檢測目標所有類別使用一個SVM分類網絡分類，最終選擇概率最大一類作為目標的類別。

5.根據權利要求1所述的基于FPN與DETR融合改進的芯片缺陷檢測方法，其特征在于：所述步驟4中將待檢測圖像輸入模型中，得到圖像中的全部缺陷及其類型。