[發(fā)明專利]基于深度特征融合的機場道面裂縫檢測方法

有效

• 申請?zhí)枺?/td>: 202011091708.4
• 申請日: 2020-10-13
• 公開（公告）號: CN112215819B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 李海豐;景攀;韓紅陽
• 申請（專利權(quán)）人: 中國民航大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06N3/0464;G06N3/08;G06T5/30
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 龐學欣

1.一種基于深度特征融合的機場道面裂縫檢測方法，其特征在于：所述的基于深度特征融合的機場道面裂縫檢測方法包括按順序進行的下列步驟：

步驟一：首先構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型，所述的深度神經(jīng)網(wǎng)絡(luò)模型包括可變形卷積模塊、多尺度卷積模塊和特征融合模塊，然后將原始彩色圖像輸入到深度神經(jīng)網(wǎng)絡(luò)模型的可變形卷積模塊中，利用可變形卷積模塊提取形態(tài)各異的裂縫特征圖，以增強網(wǎng)絡(luò)對裂縫形態(tài)特征的學習；

步驟二：將可變形卷積模塊提取的裂縫特征圖輸入到具有四種不同大小卷積核的多尺度卷積模塊中，獲得不同感受野下的裂縫特征圖，然后融合這些裂縫特征圖，使其包含裂縫更豐富的全局信息；

步驟三：將上述多尺度卷積模塊融合的裂縫特征圖輸入到特征融合模塊中，然后將特征融合模塊產(chǎn)生的不同階段的裂縫特征圖進行融合，由此細化裂縫分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于深度特征融合的機場道面裂縫檢測方法，其特征在于：在步驟一中，所述的將原始彩色圖像輸入到深度神經(jīng)網(wǎng)絡(luò)模型的可變形卷積模塊中，利用可變形卷積模塊提取形態(tài)各異的裂縫特征圖的方法是：

在標準卷積中，對于輸入的原始彩色圖像x上采樣點p₀的輸出特征映射y定義為：

其中，網(wǎng)格G定義了感受野的大小和膨脹率；p_n為網(wǎng)格G中的第n個采樣點，w(*)為采樣點權(quán)重；而可變形卷積模塊是在標準卷積的常規(guī)網(wǎng)格G的采樣點上增加了偏移量Δp_n，{Δp_n|n＝1,2,...,N}，其中N＝|G|,此時，采樣點將變?yōu)閜_n+Δp_n，因此上式就變?yōu)椋?/p>

卷積層利用與輸入特征映射具有相同空間分辨率的偏移量，使得原采樣點向外擴展以聚焦于裂縫輪廓；對于輸入網(wǎng)絡(luò)的裂縫特征圖，為了學習偏移量Δp_n，可變形卷積模塊在原有卷積層上附加一層卷積層；在訓練期間，生成輸出特征的卷積核與偏移量同時學習裂縫的特征信息，而偏移量由附加卷積層學習得到。

3.根據(jù)權(quán)利要求1所述的基于深度特征融合的機場道面裂縫檢測方法，其特征在于：在步驟二中，所述的將可變形卷積模塊提取的裂縫特征圖輸入到具有四種不同大小卷積核的多尺度卷積模塊中，獲得不同感受野下的裂縫特征圖，然后融合這些裂縫特征圖的方法是：

所述的多尺度卷積模塊使用四種不同大小卷積核并列提取裂縫特征，首先通過1×1卷積操作，在不改變裂縫特征圖大小的情況下有效減少參數(shù)量，然后分別對其進行3×3，5×5，7×7卷積操作而進行裂縫特征提取，獲得不同感受野下的裂縫特征圖，之后利用元素級加法對這些裂縫特征圖進行融合。

4.根據(jù)權(quán)利要求1所述的基于深度特征融合的機場道面裂縫檢測方法，其特征在于：在步驟三中，所述的將上述多尺度卷積模塊融合的裂縫特征圖輸入到特征融合模塊中，然后將特征融合模塊產(chǎn)生的不同階段的裂縫特征圖進行融合的方法是：

在特征融合模塊中，對側(cè)輸出進行上采樣之前，先將每一個階段產(chǎn)生的相同尺寸的裂縫特征圖進行相加融合，然后對其進行反卷積操作，得到與原始彩色圖像相同尺寸的裂縫特征圖，再使用Concatenate函數(shù)融合這些裂縫特征圖，最后，經(jīng)過兩次卷積得到深度卷積網(wǎng)絡(luò)模型預(yù)測的分割結(jié)果。