[發(fā)明專利]一種晶片缺陷檢測方法

在審

• 申請?zhí)枺?/td>: 202110953360.3
• 申請日: 2021-08-19
• 公開（公告）號: CN113706490A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計）人: 張杰;周涵;杜寅超;陳江鵬;鄭學(xué)哲
• 申請（專利權(quán)）人: 中科蘇州智能計算技術(shù)研究院;蘇州旭創(chuàng)科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/73;G06K9/62;G01N21/88
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 陳忠輝

本發(fā)明揭示了一種晶片缺陷檢測方法，包括樣本圖像質(zhì)量評估，基于聚類算法對晶片區(qū)域圖像進行操作，通過設(shè)置分類閾值篩選出質(zhì)量合格的樣本圖像；兩階段單幀檢測，基于Yolo v4的目標(biāo)檢測網(wǎng)絡(luò)，先對樣本圖像中的晶片區(qū)域進行定位，而后對晶片區(qū)域中的缺陷進行檢測定位；多幀融合策略，對待檢測的晶片對象從不同角度拍攝獲得視頻序列，并利用視頻序列采集n幀RGB的樣本圖像，經(jīng)質(zhì)量評估和兩階段單幀檢測獲得每幀樣本圖像的缺陷檢測結(jié)果，繼而基于投票的方式綜合判定缺陷的存在與否，n為大于5的自然數(shù)。應(yīng)用本發(fā)明晶片缺陷檢測方案，能篩選去除質(zhì)量較低的圖像，并根據(jù)多幀檢測結(jié)果綜合判斷缺陷，顯著降低了誤撿率，并提升了檢測速度和精準(zhǔn)程度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種計算機視覺的圖像數(shù)據(jù)處理方法，尤其涉及一種基于視頻序列對晶片進行缺陷檢測的方法。

背景技術(shù)

隨著工業(yè)生產(chǎn)中無人化和智能化操作的普及及對勞動力解放的進步，計算機視覺技術(shù)開始引入到工業(yè)生產(chǎn)的方方面面，并稱之為工業(yè)視覺系統(tǒng)。目標(biāo)檢測技術(shù)作為計算機視覺中發(fā)展成熟的方向，同樣被廣泛應(yīng)用到工業(yè)視覺檢測中。隨著工業(yè)視覺應(yīng)用更加深入，對工業(yè)產(chǎn)品的缺陷檢測方面設(shè)計一套準(zhǔn)確有效、穩(wěn)定可用的工業(yè)視覺檢測系統(tǒng)十分重要。傳統(tǒng)工業(yè)生產(chǎn)模式要在大量工業(yè)產(chǎn)品中檢測出缺陷品需要的大量人工成本和時間成本，而基于目標(biāo)檢測的工業(yè)視覺檢測技術(shù)的應(yīng)用可以快速檢測大量樣本，并且識別缺陷的準(zhǔn)確率極高。

晶片作為目前市場中份額巨大的產(chǎn)品，在工業(yè)生產(chǎn)中出現(xiàn)的缺陷會導(dǎo)致產(chǎn)品無法投入使用，所以晶片缺陷的檢測異常重要。但是晶片表面的缺陷往往較小，在識別中特征提取往往比較困難，在周邊環(huán)境復(fù)雜情況下很容易出現(xiàn)缺陷特征提取失敗，定位錯誤的情況。所以主流的工業(yè)視覺檢測中對于晶片的缺陷檢測中往往要對圖像做處理，縮小定位區(qū)域，在正式檢測缺陷之前優(yōu)化檢測圖像，以實現(xiàn)更加精準(zhǔn)的缺陷定位識別。

針對類似晶片產(chǎn)品缺陷檢測的主要技術(shù)手段有模版匹配、邊緣檢測等。早期認為缺陷區(qū)域相比于背景區(qū)域在某種手工特征上是完全可分的，所以可以使用圖像處理手段選取出缺陷ROI區(qū)域，對選定的ROI區(qū)域使用圖像濾波、圖像頻率域變換、平滑、銳化、灰度直方圖等等手段對圖像進行預(yù)處理，再使用簡單的分類器進行缺陷識別。這種方法對于拍攝環(huán)境和角度要求嚴格，算法精準(zhǔn)度低和泛化性差。隨著算力的提升，基于神經(jīng)網(wǎng)絡(luò)的方案漸漸流行，例如RCNN、Faster RCNN、Yolo和SSD等一系列目標(biāo)檢測網(wǎng)絡(luò)應(yīng)用到晶片的缺陷檢測中。對拍攝圖像進行簡單的處理和增廣后，輸入神經(jīng)網(wǎng)絡(luò)進行類別分類和位置回歸。盡管此類方法優(yōu)于傳統(tǒng)圖像處理方法，但由于目前工業(yè)生產(chǎn)中，缺陷樣本少，并且缺陷區(qū)域往往過小，基于深度學(xué)習(xí)的目標(biāo)檢測方法應(yīng)對不同類型晶片的缺陷檢測仍具挑戰(zhàn)性。

發(fā)明內(nèi)容

鑒于上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的旨在提出一種晶片缺陷檢測方法，解決對于檢測時圖像條件過于嚴苛、模型不夠魯棒、小目標(biāo)檢測性能低的問題。

本發(fā)明實現(xiàn)上述目的的技術(shù)解決方案是：一種晶片缺陷檢測方法，其特征在于檢測原理包括：樣本圖像質(zhì)量評估，基于聚類算法對晶片區(qū)域圖像進行操作，通過設(shè)置分類閾值篩選出質(zhì)量合格的樣本圖像；兩階段單幀檢測，基于Yolo v4的目標(biāo)檢測網(wǎng)絡(luò)，先對樣本圖像中的晶片區(qū)域進行定位，而后對晶片區(qū)域中的缺陷進行檢測定位；多幀融合策略，對待檢測的晶片對象從不同角度拍攝獲得視頻序列，并利用視頻序列采集n幀RGB的樣本圖像，經(jīng)質(zhì)量評估和兩階段單幀檢測獲得每幀樣本圖像的缺陷檢測結(jié)果，繼而基于投票的方式綜合判定缺陷的存在與否，n為大于5的自然數(shù)。

上述晶片缺陷檢測方法，優(yōu)選的檢測過程包括：數(shù)據(jù)準(zhǔn)備階段，對樣本圖像進行采集、標(biāo)注和增廣，并對晶片區(qū)域的圖像紋理作增強處理；

模型構(gòu)建階段，整體檢測模型記為W，包括用于檢測晶片區(qū)域的模型A，用于判斷玻璃區(qū)域圖像的環(huán)境是否為可觀測圖像的質(zhì)量評估模型B，用于檢測缺陷區(qū)域的模型C和用于基于投票方式的視頻序列檢測模型D，整體檢測模型W的輸入為對晶片對象表面采集所得視頻序列I的連續(xù)幀圖像P₁，P₂，P₃，……P_n；