[發明專利]基于多尺度集成特征編碼的紋理識別模型建立方法及應用

在審

• 申請號: 202110047823.X
• 申請日: 2021-01-14
• 公開（公告）號: CN112819039A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 楊華;宋開友;尹周平;侯岳
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06T7/40
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

1.一種基于多尺度集成特征編碼的紋理識別模型建立方法，其特征在于，包括：

建立先驗引導特征提取網絡，用于獲得輸入圖像的N_s個尺度的卷積特征和先驗紋理特征，并將對應尺度的卷積特征和先驗紋理特征融合，得到N_s個尺度的融合卷積特征；

建立特征融合網絡，用于將所述N_s個尺度的融合卷積特征中，最深層的融合卷積特征分別與其余各尺度的融合卷積特征融合，由N_s-1個融合結果連同所述最深層的融合卷積特征一起構成N_s個尺度的強語義信息特征；

建立多尺度編碼網絡，用于對所述N_s個尺度的強語義信息特征進行編碼，使得每一個強語義信息特征中，屬于紋理區域的局部特征被映射到超球體內部，而屬于背景區域的局部特征被映射到超球體外部，得到N_s個全局紋理特征；所述超球體有K個，分別以K個可學習的紋理基元為中心；

建立多尺度集成學習網絡，用于利用所述N_s個全局紋理特征進行集成學習，得到所述輸入圖像的紋理識別結果；

依次連接所述先驗引導特征提取網絡、所述特征融合網絡、所述多尺度編碼網絡和所述多尺度集成學習網絡，并利用紋理類別已知的圖像數據集對連接所得的模型進行訓練，在訓練結束后，得到用于對圖像進行紋理識別的紋理識別模型；

其中，N_s和K均為預設的正整數。

2.如權利要求1所述的基于多尺度集成特征編碼的紋理識別模型建立方法，其特征在于，所述先驗引導特征提取網絡包括：主干網絡、紋理特征提取模塊、N_s個下采樣模塊和N_s個先驗融合模塊；

所述主干網絡，用于提取所述輸入圖像的N_s個尺度的卷積特征；

所述紋理特征提取模塊，用于提取所述輸入圖像的先驗紋理特征；

所述N_s個下采樣模塊，分別用于對所述紋理特征提取模塊所提取的先驗紋理特征進行下采樣，得到得到N_s個尺度的先驗紋理特征；所述N_s個尺度的先驗紋理特征與所述N_s個尺度的卷積特征的尺度一一對應；

所述N_s個先驗融合模塊，分別用于將其中一個尺度下的卷積特征和先驗紋理特征融合，得到N_s個融合卷積特征。

3.如權利要求2所述的基于多尺度集成特征編碼的紋理識別模型建立方法，其特征在于，所述先驗融合模塊包括：一個先驗上下文學習分支、一個通道注意力分支和一個第一融合模塊；

所述先驗上下文學習分支，用于提取先驗紋理特征的注意力分數圖；所述注意力分數圖用于描述先驗紋理特征中任意第j個區域對任意第k個區域的影響權重；

所述通道注意力分支，用于學習卷積特征中不同通道的權重向量，并與卷積特征相乘，以規整不同通道的重要性，得到規整后的特征圖；

所述第一融合模塊，用于融合所述注意力分數圖和所述規整后的特征圖，得到融合卷積特征。

4.如權利要求2所述的基于多尺度集成特征編碼的紋理識別模型建立方法，其特征在于，所述先驗引導特征提取網絡還包括解碼器；

所述解碼器的結構與所述主干網絡的對稱，所述解碼器與所述主干網絡構成編碼器-解碼器結構；所述解碼器用于在利用紋理類別已知的圖像數據集對連接所得的模型進行訓練時，利用最深層的卷積特征重構出與所述輸入圖像相同大小的圖像，以通過重構損失優化所述主干網絡的訓練效果。

5.如權利要求1-4任一項所述的基于多尺度集成特征編碼的紋理識別模型建立方法，其特征在于，所述特征融合網絡將最深層的融合卷積特征與其余任意一個較淺層融合卷積特征融合的方式包括：

將所述最深層的融合卷積特征的尺寸放大至與所述較淺層融合卷積特征一致后，與所述較淺層融合卷積特征按通道堆疊，得到與所述較淺層融合卷積特征尺度一致的強語義信息特征。