[發明專利]基于級聯YOLO-GAN的晶圓缺陷檢測及定位算法

在審

• 申請號: 202211028774.6
• 申請日: 2022-08-26
• 公開（公告）號: CN115439427A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 夏新棟;楊彪;黃振濤;謝陳明玥;湯芷涵;黃怡;王睿;楊長春
• 申請（專利權）人: 常州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06V10/30;G06V10/40;G06V10/764;G06V10/774;G06V10/80
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 劉秋彤

1.一種基于級聯YOLO-GAN的晶圓缺陷檢測及定位算法，其特征在于，包括步驟如下；

1)、在晶圓片生成制造過程中，將原始圖像晶圓片送入基于改進YOLOv5的晶圓檢測模型中，獲得晶圓片目標檢測框位置；

2)、輸入原始圖像晶圓片至基于BiseNet的晶圓語義分割模型，進行晶圓片語義分割，獲得晶圓片的前景掩模m；

3)、原始圖像T輸入至基于改進生成對抗網絡的缺陷檢測模型，基于改進生成對抗網絡的缺陷檢測模型包括生成器G、鑒別器D與二次編碼器E；原始圖像經生成器生成重構圖像，采用內容損失L_con反映重構圖像與真實圖像之間的差異；二次編碼器對重構圖像進行二次編碼得到二次隱變量，用編碼損失函數L_enc降低原始圖像的隱變量和重構圖像的二次隱變量之間的差值；將原始圖像和重構圖像輸入至鑒別器，生成器和鑒別器迭代優化達到納什平衡，直至原始圖像和重構圖像在博弈過程中產生的對抗損失滿足要求，基于改進生成對抗網絡的缺陷檢測模型訓練完成；鑒別器中原始圖像T和重構圖像做差，獲得差分圖像；利用晶圓片的前景掩模進行約束，進而將差分圖像ΔT中的前景像素數數目與給定閾值進行比較，判斷是否存在缺陷；

4)、當步驟3)的檢測結果存在缺陷時，利用步驟1)中的晶圓片目標檢測框位置作為約束，對缺陷圖像的連通域進行分析，引入Softmax分類器實現對缺陷的定位以及晶圓缺陷的細分；Softmax分類器采用交叉熵損失函數評估，并對晶圓片缺陷分類的正確與否進行調整；當步驟3)的檢測結果不存在缺陷時，直接輸出晶圓片定位及缺陷檢測結果。

2.根據權利要求1所述的基于級聯YOLO-GAN的晶圓缺陷檢測及定位算法，其特征在于，所述步驟1)改進YOLOv5的晶圓檢測模型基于單階段YOLOv5進行改進，改進YOLOv5的晶圓檢測模型輸出模塊采用mobilenet卷積算子替代單階段YOLOv5的標準卷積，以提高特征融合速度；改進YOLOv5的晶圓檢測模型包括骨架網絡、特征增強網絡、上下采樣網絡層、mobilenet卷積層和檢測頭網絡層；

原始圖像晶圓片通過骨架網絡和特征增強網絡，得到從低級特征尺度1/2x到高級特征尺度1/16x的多尺度特征信息流；再通過上下采樣網絡層與1×1卷積核對特征圖在深度方向進行加權信息整合，得到不同尺寸的特征圖；不同尺寸的特征圖同時送入檢測頭網絡層，檢測特征圖中不同尺度的目標，實現晶圓片檢測獲得晶圓片目標檢測框位置。

3.根據權利要求1所述的基于級聯YOLO-GAN的晶圓缺陷檢測及定位算法，其特征在于，所述步驟2)中，基于BiseNet的晶圓語義分割模型具體為

基于BiseNet的晶圓語義分割模型采用雙向語義分割網絡，輸入原始圖像晶圓片，分別經空間路徑和上下文路徑進行提取特征，空間路徑中經過卷積批處理進行批處理規范化和激活，保留輸入晶圓片原圖像的空間尺度并豐富空間信息編碼；上下文路徑結合注意力優化模塊，優化每一段的特征輸出；空間路徑和上下文路徑所提取的特征均輸入至特征融合模塊，經主損失函數監督BiseNet輸出，從而獲得晶圓片的前景掩模。

4.根據權利要求1所述的基于級聯YOLO-GAN的晶圓缺陷檢測及定位算法，其特征在于，所述步驟3)中，基于改進生成對抗網絡的缺陷檢測模型包括生成器G、鑒別器D與二次編碼器E；生成器G是一個生成式的網絡，其包括編碼器G_E和解碼器G_D；輸入原始圖像通過編碼器G_E和解碼器G_D生成重構圖像生成器G中的編碼器G_E對原始圖像T進行編碼得到隱變量a，隱變量a輸入生成器G中解碼器G_D解碼得到重構圖像W_GD、W_GE分別表示編碼器G_E和解碼器G_D的可學習權重；二次編碼器E對重構圖像進行編碼，得到二次隱變量如下式所示：W_E表示解碼器E的可學習參數；根據隱變量a和二次隱變量的差值得到編碼損失；鑒別器D是判別網絡，其為三層卷積神經網絡；輸入原始圖像和重構圖像至鑒別器D中，判別并輸出該重構圖像是否為真實圖像，輸出l_D，