[發明專利]一種基于多模型融合卷積神經網絡的PCB缺陷圖像識別方法

有效

• 申請號: 202110552810.8
• 申請日: 2021-05-20
• 公開（公告）號: CN113344041B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 張健滔;瞿棟;汪鵬宇;黃允;徐海達
• 申請（專利權）人: 上海大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

1.一種基于多模型融合卷積神經網絡的PCB缺陷圖像識別方法，其特征在于：操作步驟如下：

（1）建立圖像數據集：

獲取多種類PCB缺陷圖像，建立PCB圖像數據集，并按各缺陷種類分好類；

（2）ResNet50模型改進：

建立適合PCB缺陷圖像識別的卷積神經網絡框架；

采用ResNet50網絡結構共由四個大的BottleNeck組成，每個block中分別對應有3、4、6、3個小的殘差塊組成，每個小的殘差塊都是由1×1、3×3、1×1三個卷積層串聯組成；

另外在網絡的最前端和最后端分別是由1個7×7的卷積層，maxpool層以及平均池化層組成；優化改進后的ResNet50模型引入了一種名為Res2Net的新型CNN模塊，將原本ResNet50中含有1×1、3×3、1×1卷積層的殘差塊替換為更多分層式的殘差連接結構，并分別將第二個和第三個大的BottleNeck中的多個小block替換成Res2Net模塊，然后將剩下的2個大BottleNeck按原本順序進行連接；在每一個大的BottleNeck后面采用ReLU作為激活函數，提高網絡多層的非線性擴展能力；

（3）特征融合：

對PCB缺陷分類識別，采用多模型融合的PCB缺陷識別方法，基于多模型提取的圖像特征進行融合，并對融合特征輸出網絡結構進行改進；進行特征融合：

基于多模型提取的圖像特征進行融合，并對融合特征輸出網絡結構進行改進；利用改進后的ResNet50和DenseNet169模型特征提取器對輸入圖片進行特征提取，其中改進后的ResNet50特征提取器提取到2048幅7×7大小的特征圖，DenseNet169特征提取器提取到1664幅7×7大小的特征圖；

壓縮模型參數數量，提高計算速度，分別在兩個特征提取器后接一個全局平均池化層，得到2048幅1×1大小的特征圖和1664幅1×1大小的特征圖，之后再將兩個全局平均池化層的輸出進行拼接，得到新的分類網絡的輸出；經過模型融合后，最終得到的特征圖大小為1×1×3712；根據最終需要將PCB圖像分為NG和OK兩種類別的目標，將1×1×3712大小的特征圖轉變為1×1×2大小的特征圖；改進后的多模型融合網絡在融合特征輸出后增加了多個1×1卷積層，個數分別為2048、1024、512，逐步降低了特征圖的數量，使特征圖的通道數平緩過渡；

（4）通過模型訓練實現PCB缺陷識別：

將PCB圖片集劃分為訓練集、驗證集測試集，利用在所述步驟（3）中進行改進后的融合模型進行訓練、測試，對PCB缺陷類別進行自動化和智能化識別。

2.根據權利要求1所述基于多模型融合卷積神經網絡的PCB缺陷圖像識別方法，其特征在于：所述步驟（1）包括如下步驟：

（1.1）對PCB缺陷圖像進行缺陷分類，對包括殘渣、異物在內的PCB缺陷圖像以及無缺陷PCB圖像進行細致分類整理；

（1.2） 在步驟（1.1）整理好的PCB圖像數據集基礎上進行包括鏡像、旋轉在內的數據增強方式以擴充數據集樣本。