[發明專利]一種基于ACGAN和Cameralink相機的缺陷圖像數據處理仿真方法

有效

• 申請號: 202111071256.8
• 申請日: 2021-09-14
• 公開（公告）號: CN113516656B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 鐘洪萍;章靈偉;胡美琴
• 申請（專利權）人: 浙江雙元科技股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 彭劍

1.一種基于ACGAN和Cameralink相機的缺陷圖像數據處理仿真方法，其特征在于，包括以下步驟：

（1）構建增強型ACGAN網絡，所述的增強型ACGAN網絡包含生成器和判別器；所述生成器的構建過程如下：

（1-1-1）隨機噪聲和類別標簽經過向量嵌入模塊后得到特征圖，將得到的特征圖先經過第一層網絡模塊后送入多層殘差模塊；

其中，所述的第一層網絡模塊由上采樣層、卷積層、以relu為激活函數的激活層和歸一化層組成；所述的殘差模塊由卷積層、以relu為激活函數的激活層和卷積層依次構成，用于增加特征圖的細節信息；

（1-1-2）將第一層網絡模塊的輸出與第一層殘差模塊的輸出通過Add層進行特征融合，下一層殘差模塊的輸出均通過Add層與上一層殘差模塊的輸出進行特征融合作為下一級的輸入；

（1-1-3）在經過最后一層殘差模塊后放置一個卷積層和歸一化層，將該歸一化層的輸出與第一層網絡模塊的輸出通過跳連接的形式，經過Add層特征融合，增加輸出特征圖的分辨率；

（1-1-4）接下來通過多層上采樣模塊后得到預計輸出維度的特征圖；所述的采樣模塊由上采樣層、卷積層和以relu為激活函數的激活層組成；

（2）收集真實缺陷圖像數據并標注類別標簽；將隨機噪聲和類別標簽輸入至生成器中先進行向量嵌入，然后進一步生成對應類別標簽的假圖像數據；將生成器生成的假圖像數據與對應類別標簽的真實圖像數據輸入判別器中，分別得到兩者的真假概率和類別概率；

根據真假概率和類別概率計算訓練的損失函數來調整生成器網絡輸出，直至判別器對生成器的輸出在識別對應的缺陷類型時無法判斷其真假；

（3）ACGAN網絡的生成器和判別器訓練完成后，根據用戶設置，將設置的隨機噪聲和類別標簽輸入至訓練好的生成器中，得到該標簽類別對應的假缺陷圖像數據；

（4）將假缺陷圖像數據或真實缺陷圖像數據，通過數據發送控制模塊以以太網通訊的形式發送至仿真相機；

（5）仿真相機的數據接收及調度模塊分別與DDR數據緩存區以及Cameralink行數據信號產生模塊進行通信；

（6）Cameralink行數據信號產生模塊產生的行圖像數據通過Cameralink協議與目標設備進行通訊，目標設備得到仿真缺陷圖像數據。

2.根據權利要求1所述的基于ACGAN和Cameralink相機的缺陷圖像數據處理仿真方法，其特征在于，步驟（1-1-1）中，隨機噪聲和類別標簽經過向量嵌入模塊后得到特征圖的具體過程為：

將類別標簽通過Embedding層轉換為固定大小的稠密向量，并將相同維度的一維隨機噪聲信號通過矩陣對應位置相乘的形式與轉化后的類別標簽向量進行融合；

將隨機噪聲與類別標簽融合后的向量通過全連接層擴展成高維空間，再通過reshape層重塑成特征圖。

3.根據權利要求1所述的基于ACGAN和Cameralink相機的缺陷圖像數據處理仿真方法，其特征在于，步驟（1）中，所述判別器的構建過程如下：

（1-2-1）由生成器生成的特征圖先經過多層卷積模塊，然后送入全局平均池化層；所述的卷積模塊由卷積層、以leaky relu為激活函數的激活層和歸一化層組成；

（1-2-2）全局平均池化層的輸出分別輸入以sigmoid為激活函數和以softmax為激活函數的全連接層，前者輸出對生成圖像與真實圖像樣本的真假判別，后者輸出對生成圖像與真實圖像樣本的類別判別。

4.根據權利要求1所述的基于ACGAN和Cameralink相機的缺陷圖像數據處理仿真方法，其特征在于，步驟（2）中，根據真假概率和類別概率計算訓練的損失函數來調整生成器網絡輸出的過程為：

隨機選取batch_size個真實的圖像樣本和類別標簽，然后將隨機生成batch_size個N維噪聲向量和其對應的類別標簽，利用Embedding層組合，傳入到增強型ACGAN的生成器中生成batch_size個虛假的圖像樣式；

判別器的損失函數由兩部分組成，一部分是真假的判斷結果與真實情況的對比，另一部分是圖片所屬標簽的判斷結果與真實情況的對比；生成器的損失函數也由兩部分組成，一部分是生成的圖片是否被判別器判斷為真，另一部分是生成的圖片是否被分成了正確的類。