[發明專利]一種基于FPN與DETR融合改進的芯片缺陷檢測方法

在審

• 申請號: 202210081334.0
• 申請日: 2022-01-24
• 公開（公告）號: CN114463297A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 任獲榮;于澤洋;李向寧;趙偉;焦小強;駱虎林
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06N3/08;G06N3/04;G06K9/62;G06V10/44;G06V10/764;G06V10/82
• 代理公司: 鄭州知倍通知識產權代理事務所(普通合伙) 41191
• 代理人: 李玲玲

本發明公開了一種基于FPN與DETR融合改進的芯片缺陷檢測方法，改善了現有技術中微小芯片缺陷的檢測效果仍須改善的問題。該發明含有以下步驟，步驟1：獲取工業生產前端有缺陷芯片的圖像信息，標注缺陷位置及缺陷類別，使用圖像數據增強方法對數據集進行擴充；步驟2：搭建改進的FPN特征金字塔網絡提取圖像的層次特征并融合；步驟3：搭建改進的DETR網絡，將步驟2中經過改進的FPN網絡組合DETR網絡構成整體的分類網絡，先使用公開的數據集進行訓練，固定部分參數后繼續使用芯片缺陷數據集進行訓練，得到訓練好的網絡模型；步驟4：使用訓練好的模型，對待檢測的圖像進行檢測分類并輸出結果。該技術有效的解決了芯片檢測領域中的深度學習訓練困難、數據集較少的問題。

技術領域

本發明涉及人工智能的深度學習技術領域，特別是涉及一種基于FPN與DETR融合改進的芯片缺陷檢測方法。

背景技術

隨著半導體行業的蓬勃發展，集成電路的自動化檢測技術成為了研究熱點之一。外觀檢測的方法有3種：(1)傳統的人工檢測方法；(2)使用激光測量技術進行芯片外觀檢測；(3)基于機器視覺的檢測方法。由于機器視覺的方法具有成本低、速度快、效率高、非接觸等優點而成為研究熱點。

近年來隨著深度學習和人工智能的快速發展，機器視覺技術也隨之更新。在檢測領域中，越來越多的深度學習方法被應用。深度學習的方法與傳統機器視覺方法比較有著準確率高、運行速度快和泛化能力強的特點。

芯片缺陷檢測任務中，在一個芯片樣本上可能存在多種缺陷，這種多檢測任務的復雜程度較高。傳統的檢測算法只能檢測芯片上的某一個缺陷，而需要多個缺陷時只能利用多種不同算法或多次檢測，不能較好的解決這種復雜任務。缺陷的種類越多也會造成檢測任務復雜。基于深度學習的目標檢測可以較好的解決這類復雜問題。

目標檢測領域中，常用的R-CNN方法、Faster R-CNN方法等方法都是需要先從圖中框選可能是物體的內容再進行檢測。這種兩步的方法存在運算速度慢，檢測算法負載的問題，同時檢測的結果和錨框的選取存在著強相關性。兩步的方法也導致神經網絡的訓練較為困難。由于卷積網絡進行多層卷積后得到的特征較為復雜，而使用這些特征進行檢測時，神經網絡不能充分關注有效信息，導致檢測效果較差。這種問題被稱為注意力分散問題。

Transformer網絡是自然語言處理中的一種性能較強的網絡。由于Transformer網絡中的自注意力機制可以有效解決注意力分散問題，所以可以將其用在目標任務檢測中。這種網絡被稱為DEtection TRansformer(DETR)。同時DETR網絡由于不需要先選框后識別，所以解除了檢測結果與錨框的相關性，降低了算法復雜度，提高了檢測效率。本發明中利用DETR網絡，學習芯片缺陷圖像的特征與位置特征，達到檢測與分類一步完成。

使用Transformer網絡做目標檢測時，會出現微小目標的檢測效果較差、準確率較低的問題。這是由于在Transformer做目標檢測時往往依賴于骨干網絡提取得到的特征。由于在深度學習中，隨著卷積層數的不斷增加，特征提取層次越高，這導致了低層次的信息被丟棄，微小目標的檢測依賴于這些低層次的特征。尤其在芯片缺陷檢測領域中，常存在多種依賴低層次信息檢測的微小缺陷。為解決此問題，本發明使用了Feature PyramidNetworks(FPN)網絡。FPN特征金字塔網絡是特征提取中的一種重要手段。FPN通過卷積得到高層次特征后經過上采樣與低層次特征融合得到多尺度融合特征。通過不同的多尺度特征融合，在保證高級特征被正確提取的情況下也能保留低級特征，提高系統對微小目標的檢測準確度。

芯片的缺陷檢測的任務中還存在著樣本不平衡的問題。樣本不平衡是指在分類的類別中，有些類別較多而有些類別極少。比如在芯片的缺陷檢測中，芯片的擦傷和劃痕缺陷較為常見，而芯片的引腳缺失就較為罕見。在實際生產采集的訓練集中擦傷和劃痕的樣本較多而引腳缺失的樣本極少。這導致網絡經過大量訓練后，對這類極少的類別分類效果較差。為解決此問題，本發明改進DETR的網絡結構，將DETR網絡中的最頂端的FFN改為多個SVM而分類器進行分類，能夠有效的解決小樣本類別檢測效果較差的問題。