[發(fā)明專利]圖像缺陷檢測(cè)方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202210586712.0
• 申請(qǐng)日: 2022-05-26
• 公開(kāi)（公告）號(hào): CN114943708A
• 公開(kāi)（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 袁肇飛;徐邵稀;付學(xué)寶;鄒軍;唐文博
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06V10/764;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 賈偉;胡春光

本申請(qǐng)實(shí)施例提出了一種圖像缺陷檢測(cè)方法、裝置、電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，該方法包括：獲取第一樣本集；根據(jù)所述第一樣本集對(duì)第一初始模型進(jìn)行預(yù)訓(xùn)練，得到訓(xùn)練完成的第一模型；所述第一樣本集包括多張無(wú)缺陷圖像；獲取第二樣本集；根據(jù)所述第二樣本集對(duì)第二初始模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的第二模型；所述第二樣本集包括設(shè)置有正樣本標(biāo)簽的無(wú)缺陷圖像和設(shè)置有負(fù)樣本標(biāo)簽的有缺陷圖像；其中，所述第二初始模型是基于所述第一模型得到的；獲取待檢測(cè)圖像，使用所述第二模型對(duì)所述待檢測(cè)圖像進(jìn)行缺陷檢測(cè)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種圖像缺陷檢測(cè)方法、裝置、 系統(tǒng)、電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)

目前，圖像缺陷檢測(cè)應(yīng)用非常廣泛，傳統(tǒng)的機(jī)器視覺(jué)方法需要針對(duì)具體缺 陷的特點(diǎn)人工設(shè)計(jì)特征算子，開(kāi)發(fā)周期長(zhǎng)，且特征算子不通用，難以確保快速 靈活地適應(yīng)新的場(chǎng)景需求；深度學(xué)習(xí)發(fā)展起來(lái)后，由于其可以自動(dòng)學(xué)習(xí)特征， 泛化能力強(qiáng)，逐漸取代了經(jīng)典機(jī)器視覺(jué)的方法。

相關(guān)技術(shù)中，常用的一類深度學(xué)習(xí)檢測(cè)缺陷方法是搜集標(biāo)注正負(fù)樣本，直 接送入目標(biāo)分類或目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練模型；然而，這類方法的明顯缺陷是正負(fù) 樣本非常地不均衡；這是因?yàn)閷?duì)于大多數(shù)領(lǐng)域，不良率總是低的，比如：工業(yè) 質(zhì)檢領(lǐng)域的電路板缺陷、紡織布匹缺陷、液晶面板缺陷、互聯(lián)網(wǎng)領(lǐng)域的用戶界 面(User Interface，UI)缺陷、醫(yī)療領(lǐng)域的疾病缺陷以及水果缺陷圖像等領(lǐng)域； 這就造成正常的圖像很多，缺陷負(fù)樣本非常少，如此，極大影響檢測(cè)準(zhǔn)確率。 還有一類方法是僅采用正樣本進(jìn)行學(xué)習(xí)，然而這種方案重構(gòu)圖像需要復(fù)雜的卷 積操作，圖像重建較為模糊，會(huì)影響檢測(cè)準(zhǔn)確率；此外，還有些方案采用少量無(wú)缺陷樣本訓(xùn)練記憶網(wǎng)絡(luò)和圖像修復(fù)網(wǎng)絡(luò)，然而，這種方案無(wú)法學(xué)習(xí)到缺陷本 身信息，且重構(gòu)圖像與待檢圖像的差值閾值在不同條件下差異很大，影響檢測(cè) 準(zhǔn)確率。可見(jiàn)，如何提高圖像缺陷的檢測(cè)準(zhǔn)確率，是亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N圖像缺陷檢測(cè)方法、裝置、電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)和 計(jì)算機(jī)程序產(chǎn)品。

本申請(qǐng)的技術(shù)方案是這樣實(shí)現(xiàn)的：

本申請(qǐng)實(shí)施例提供了一種圖像缺陷檢測(cè)方法，所述方法包括：

獲取第一樣本集；根據(jù)所述第一樣本集對(duì)第一初始模型進(jìn)行預(yù)訓(xùn)練，得到 訓(xùn)練完成的第一模型；所述第一樣本集包括多張無(wú)缺陷圖像；

獲取第二樣本集；根據(jù)所述第二樣本集對(duì)第二初始模型進(jìn)行訓(xùn)練，得到訓(xùn) 練完成的第二模型；所述第二樣本集包括設(shè)置有正樣本標(biāo)簽的無(wú)缺陷圖像和設(shè) 置有負(fù)樣本標(biāo)簽的有缺陷圖像；其中，所述第二初始模型是基于所述第一模型 得到的；

獲取待檢測(cè)圖像，使用所述第二模型對(duì)所述待檢測(cè)圖像進(jìn)行缺陷檢測(cè)。

在一些實(shí)施例中，所述根據(jù)所述第一樣本集對(duì)第一初始模型進(jìn)行預(yù)訓(xùn)練， 包括：

獲取所述第一樣本集中的每張圖像，將所述第一樣本集中的每張圖像調(diào)整 到固定尺寸；

對(duì)調(diào)整后的每張圖像進(jìn)行預(yù)處理操作；

基于預(yù)處理操作后的每張圖像，對(duì)所述第一初始模型進(jìn)行預(yù)訓(xùn)練。

在一些實(shí)施例中，所述基于預(yù)處理操作后的每張圖像，對(duì)所述第一初始模 型進(jìn)行預(yù)訓(xùn)練，包括：

將所述預(yù)處理操作后的每張圖像劃分為大小相等的圖像小塊；

對(duì)所述劃分后的每張圖像的圖像小塊進(jìn)行扁平化處理，得到第一圖像塊序 列；

將所述第一圖像塊序列和第一嵌入向量進(jìn)行組合，得到第一圖像塊向量序 列；所述第一嵌入向量包括旋轉(zhuǎn)嵌入向量和位置嵌入向量；

將所述第一圖像塊向量序列輸入至第一初始模型進(jìn)行預(yù)訓(xùn)練。