[發(fā)明專利]一種工業(yè)檢測(cè)用深度學(xué)習(xí)的AI智能模型

在審

• 申請(qǐng)?zhí)枺?/td>: 202010627346.X
• 申請(qǐng)日: 2020-07-02
• 公開（公告）號(hào): CN111860619A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 黃西士;呂越峰;張劍
• 申請(qǐng)（專利權(quán)）人: 蘇州富鑫林光電科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/08;G06N3/04
• 代理公司: 蘇州市中南偉業(yè)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 吳竹慧

本發(fā)明涉及工業(yè)檢測(cè)的技術(shù)領(lǐng)域，特別是涉及一種工業(yè)檢測(cè)用深度學(xué)習(xí)的AI智能模型，其可以大大減少了網(wǎng)絡(luò)學(xué)習(xí)參數(shù)的數(shù)量，得到更精簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)；同時(shí)在訓(xùn)練過(guò)程中也減少對(duì)一般深度學(xué)習(xí)模型大量數(shù)據(jù)的需求，更適合訓(xùn)練數(shù)據(jù)難以獲取的生產(chǎn)線的自動(dòng)缺陷檢測(cè)；其特征在于，包括：空間多尺度模塊、頻道特征重新動(dòng)態(tài)標(biāo)定模塊、不同層次金字塔的特征重用模塊、全局連接池化操作模塊和批量標(biāo)準(zhǔn)化模塊。

技術(shù)領(lǐng)域

本發(fā)明涉及工業(yè)檢測(cè)的技術(shù)領(lǐng)域，特別是涉及一種工業(yè)檢測(cè)用深度學(xué)習(xí)的AI智能模型。

背景技術(shù)

深度學(xué)習(xí)在圖像識(shí)別已經(jīng)得到了廣泛的應(yīng)用，尤其是基于數(shù)據(jù)的分類應(yīng)用，或者稱為監(jiān)督式的學(xué)習(xí)應(yīng)用，在已知數(shù)據(jù)分類結(jié)果的前提下，根據(jù)預(yù)先數(shù)據(jù)的分類結(jié)果來(lái)生成數(shù)據(jù)模型，通過(guò)調(diào)整模型的參數(shù)及權(quán)重值，來(lái)得到所預(yù)先定義的模型分類結(jié)果。之所以被稱為深度學(xué)習(xí)在于模型分為通常有很多層，極端的模型的層數(shù)甚至超過(guò)1000層。對(duì)于每層而言，特定的神經(jīng)元連接有特定的權(quán)重及參數(shù)，而全連接層每層之間的神經(jīng)元全部連接，使得參數(shù)及其龐大。如輸入圖像像素值為1000X1000，連接上下層的權(quán)重達(dá)到10^12個(gè)，為了解決這個(gè)問(wèn)題，卷積神經(jīng)網(wǎng)絡(luò)限制了上下層神經(jīng)元的直接連接，而是以卷積核作為中介，通過(guò)權(quán)重共享及池化策略進(jìn)行計(jì)算。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。其優(yōu)點(diǎn)包括減少了需要訓(xùn)練的參數(shù)，降低網(wǎng)絡(luò)的空間分辨率，消除信號(hào)的微小偏移和扭曲，從而對(duì)輸入數(shù)據(jù)的平移不變性要求不高。

基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法已經(jīng)在包括目標(biāo)識(shí)別、圖像分割、圖像生成等多個(gè)方面得到廣泛應(yīng)用，如手寫字符識(shí)別，人臉識(shí)別，取得了良好的經(jīng)濟(jì)效益。

卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積核實(shí)現(xiàn)了權(quán)重共享池化運(yùn)算，提高了模型的泛化效應(yīng)，這提高了模型對(duì)于輸入數(shù)據(jù)偏移的容忍度，如手寫字符的不規(guī)整，人臉的部分遮擋及變形具有良好的適應(yīng)性。

然而，在工業(yè)檢測(cè)領(lǐng)域，其主要目的是識(shí)別成品及半成品的瑕疵，一方面對(duì)于很強(qiáng)的背景的適應(yīng)能力，也就是更高的模型泛化能力，另一方面，又需要對(duì)特定的瑕疵具有識(shí)別能力，也就是不能容忍特定數(shù)據(jù)的偏移，這對(duì)于主流的卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)挑戰(zhàn)，要求深度學(xué)習(xí)模型訓(xùn)練對(duì)數(shù)據(jù)的需求更高。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種可以大大減少了網(wǎng)絡(luò)學(xué)習(xí)參數(shù)的數(shù)量，得到更精簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)；同時(shí)在訓(xùn)練過(guò)程中也減少對(duì)一般深度學(xué)習(xí)模型大量數(shù)據(jù)的需求，更適合訓(xùn)練數(shù)據(jù)難以獲取的生產(chǎn)線的自動(dòng)缺陷檢測(cè)的工業(yè)檢測(cè)用深度學(xué)習(xí)的AI智能模型。

本發(fā)明的一種工業(yè)檢測(cè)用深度學(xué)習(xí)的AI智能模型，包括：

空間多尺度模塊、頻道特征重新動(dòng)態(tài)標(biāo)定模塊、不同層次金字塔的特征重用模塊、全局連接池化操作模塊和批量標(biāo)準(zhǔn)化模塊；

空間多尺度模塊，基于空間多尺度理論模擬人類的粗粒度和精細(xì)粒度相結(jié)合的學(xué)習(xí)和推理方式，并且結(jié)構(gòu)中嵌入了多尺度信息，聚合多種不同感受野上的特征來(lái)獲得性能增益，并且利用，綜合兼顧圖像的周圍環(huán)境上下文大特征和局部精細(xì)小特征；

頻道特征重新動(dòng)態(tài)標(biāo)定模塊，對(duì)于不同的頻道，其特征信息對(duì)于最后的應(yīng)用任務(wù)的重要性不同，對(duì)于不同的輸入圖像，對(duì)不同的通道進(jìn)行動(dòng)態(tài)重標(biāo)定或加權(quán)；

不同層次金字塔的特征重用模塊，將網(wǎng)路前面層的特征重復(fù)利用，減少學(xué)習(xí)的網(wǎng)路參數(shù)，如果最后分類或識(shí)別用到前面層的特征，后面網(wǎng)路層不需要用更復(fù)雜的網(wǎng)路結(jié)構(gòu)重新學(xué)習(xí)前面的特征，并且能夠減少相應(yīng)的用于訓(xùn)練的數(shù)據(jù)量；

全局連接池化操作模塊，只用一個(gè)全連接層，相對(duì)于常規(guī)三層的全連接層的參數(shù)數(shù)量大大減少，對(duì)于分類任務(wù)，在分類層前利用特征圖的全局平均池化層，增強(qiáng)特征圖類別的學(xué)習(xí)，比傳統(tǒng)的多層全連接層更不容易過(guò)擬合；

批量標(biāo)準(zhǔn)化模塊，靈活選擇配置在一個(gè)或多個(gè)卷積層之間加入批量標(biāo)準(zhǔn)化層。