[發明專利]一種空洞卷積神經網絡的激光定向能量沉淀圖像識別方法

在審

• 申請號: 202110307097.0
• 申請日: 2021-03-23
• 公開（公告）號: CN113066060A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 李輝;米紀千;申勝男;王瑞娜;劉勝
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/32;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種空洞卷積神經網絡的激光定向能量沉淀圖像識別方法，其特征在于，包括以下步驟：

步驟1：采集多幅激光定向能量沉積區域圖像，通過人工標注方法標注每幅激光定向能量沉積區域圖像熔池區域標簽和微小濺射標簽，通過激光定向能量沉積區域圖像以及對應的熔池區域標簽和微小濺射標簽，構建空洞卷積神經網絡訓練集；

步驟2：構建空洞卷積神經網絡，將空洞卷積神經網絡訓練集中每幅激光定向能量沉積區域圖像通過圖像預處理得到每幅激光定向能量沉積區域預處理后圖像，將每幅激光定向能量沉積區域預處理后圖像作為樣本依次輸入至空洞卷積神經網絡中，通過空洞卷積神經網絡預測，分別得到每幅激光定向能量沉積區域預處理后圖像熔池區域預測標簽以及微小濺射預測標簽，結合空洞卷積神經網絡中每幅激光定向能量沉積區域圖像的熔池區域標簽和微小濺射標簽，構建空洞卷積神經網絡的損失函數，通過優化訓練直至空洞卷積神經網絡的損失函數達到Nash均衡，得到優化后空洞卷積神經網絡；

步驟3：將待檢測的激光定向能量沉積區域圖像進行灰度化、二值化預處理得到預處理后待檢測的圖像，將預處理后待檢測的圖像通過優化后的空洞卷積神經網絡預測得到待檢測的激光定向能量沉積區域圖像中熔池區域標簽、待檢測的激光定向能量沉積區域圖像中微小濺射標簽，根據待檢測的激光定向能量沉積區域圖像中熔池區域標簽判斷待檢測的激光定向能量沉積區域圖像是否存在熔池區域，根據待檢測的激光定向能量沉積區域圖像中微小濺射標簽判斷待檢測的激光定向能量沉積區域圖像是否存在微小濺射。

2.根據權利要求1所述的空洞卷積神經網絡的激光定向能量沉淀圖像識別方法，其特征在于，

步驟1所述激光定向能量沉積區域圖像為：

data_s(m，n)

s∈[1，S]，m∈[1，M]，n∈[1，N]

其中，data_s為第s個采集時刻采集的圖像，data_s(m，n)為第s個采集時刻的激光定向能量沉積區域圖像上第m行第n列的像素，S為采集時刻的數量，M為激光定向能量沉積區域圖像行的數量，N為激光定向能量沉積區域圖像列的數量；

步驟1所述激光定向能量沉積區域圖像熔池區域和微小濺射標簽為：

s∈[1，S]

其中，為第s個采集時刻的激光定向能量沉積區域圖像的熔池區域標簽，S為采集時刻的數量，表示第s個采集時刻的激光定向能量沉積區域圖像中含有熔池區域，表示第s個采集時刻的激光定向能量沉積區域圖像中沒有熔池區域，僅當時記為“熔池區域”；為第s個采集時刻的激光定向能量沉積區域圖像的微小濺射標簽，S為采集時刻的數量，表示第s個采集時刻的激光定向能量沉積區域圖像中含有微小濺射，表示第s個采集時刻的激光定向能量沉積區域圖像中沒有微小濺射，僅當時記為微小濺射；

步驟1所述的激光定向能量沉積區域圖像的空洞卷積神經網絡的訓練集為：

s∈[1，S]，m∈[1，M]，n∈[1，N]

其中，data_s(m，n)為第s個采集時刻的激光定向能量沉積區域圖像上第m行第n列的像素，為第s個采集時刻的激光定向能量沉積區域圖像的熔池區域標簽，表示第s個采集時刻的激光定向能量沉積區域圖像中含有熔池區域，表示第s個采集時刻的激光定向能量沉積區域圖像中沒有熔池區域；為第s個采集時刻的激光定向能量沉積區域圖像的微小濺射標簽，表示第s個采集時刻的激光定向能量沉積區域圖像中含有微小濺射，表示第s個采集時刻的激光定向能量沉積區域圖像中沒有微小濺射；S為采集時刻的數量，即空洞卷積神經網絡訓練集中樣本的數量，M為激光定向能量沉積區域圖像行的數量，N為激光定向能量沉積區域圖像列的數量。

3.根據權利要求1所述的空洞卷積神經網絡的激光定向能量沉淀圖像識別方法，其特征在于，

步驟2所述圖像預處理具體為：將空洞卷積神經網絡訓練集中每幅激光定向能量沉積區域圖像進行灰度化、二值化預處理；

步驟2所述空洞卷積神經網絡由輸入層、多層卷積計算層、池化層、反卷積層、輸出層依次串聯級聯構成；

所述輸入層：將第s個采集時刻采集的激光定向能量沉淀區域圖像，即通過均值零化、方差歸一化方法，得到第s個采集時刻的標準化圖像輸入至特征提取層；

所述多層卷積計算層：所述多層卷積計算層由第一卷積層、第二卷積層、第三卷積層依次級聯組成；下面分述各卷積層的作用；

所述第一卷積層：對輸入的圖片信息，3×3區域內的像素進行卷積核為3×3，步長取1的卷積運算，得到的卷積運算的結果作為一個輸出像素存在，3×3卷積核遍歷整個輸入層圖像得到的所有輸出值，構成第一特征圖像；

所述第二卷積層：對第一特征圖像進行卷積核為3×3，步長取2的卷積運算，得到的卷積運算的結果作為一個輸出像素存在，3×3卷積核遍歷整個第一特征圖像得到的所有輸出值，構成第二特征圖像；

所述第三卷積層：對第二特征圖像進行卷積核為3×3，步長取3的卷積運算，得到的卷積運算的結果作為一個輸出像素存在，3×3卷積核遍歷整個第二特征圖像得到的所有輸出值，構成第三特征圖像；

所述池化層：對第三特征圖像的3×3區域內的像素，進行卷積核為3×3，步長取3的最大池化運算；由于池化處理圖像時的特征不變性，最大池化運算僅僅降低了圖像維度，3×3池化核遍歷整個第三特征圖像得到的所有輸出值，構成第四特征圖像；

所述反卷積層：將輸入的第四特征圖像和第一特征圖像的疊加運算，對輸入圖像3×3區域內的像素進行卷積核為3×3，步長取1的上采樣，目的是擴大圖像維度，還原輸入的特征對應的圖像，3×3反卷積核遍歷整個輸入特征圖得到的所有輸出值構成原始圖像的復原圖；

所述輸出層：所述輸出層，對輸入的特征圖的G個特征構建G×1的列向量矩陣，對各值網絡輸出指數運算后輸出另一個G×1的矩陣，其中列向量各元為輸出層判定所輸入特征分屬各類別的概率，從而獲知熔池是否存在的判定值和微小濺射是否存在的判定值；

所述輸出層內的soft_max函數計算類別γ的概率值定義如下：

其中，分子為要計算的類別γ的網絡輸出的指數，分母上為網絡輸出的所有類別的指數之和，一共個類別，指熔池區域的判定值為0，其對應熔池區域不存在，指熔池區域的判定值為1，其對應熔池區域存在；指微小濺射的判定值為0，其對應微小濺射不存在，指微小濺射的判定值為1，其對應微小濺射存在；最終以此得到類別γ的概率值；

步驟2所述空洞卷積神經網絡的損失函數為交叉熵損失函數，具體定義如下：

在上述公式中，對于第s個采集時刻的標準化圖像，t_s，γ為第s個采集時刻的標準化圖像類別γ的真實標簽，為由soft_max函數計算出的第s個采集時刻的標準化圖像類別γ的概率值，為類別數，S為空洞卷積神經網絡訓練集中樣本的數量；

步驟2所述通過優化訓練直至空洞卷積神經網絡的損失函數達到Nash均衡為：

通過兩階段訓練方法優化訓練直至空洞卷積神經網絡損失函數達到Nash均衡，得到優化后空洞卷積神經網絡。