[發明專利]基于雙注意力機制的零樣本建筑圖像分類方法

在審

• 申請號: 202211550571.3
• 申請日: 2022-12-05
• 公開（公告）號: CN115830379A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 張素蘭;寧園園;楊帆;劉愛琴;陳飛
• 申請（專利權）人: 太原科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/44
• 代理公司: 太原市科瑞達專利代理有限公司 14101
• 代理人: 趙禛

本發明涉及一種基于雙注意力機制的零樣本圖像分類方法，屬于圖像處理技術領域，解決建筑風格分類中標記數據少及局部判別性特征定位不準確的問題，解決方案為：首先，引入通道注意和空間注意兩種模型以增強圖像特定區域的表示；然后，為減少空間映射過程中出現信息損失，使用生成器重建視覺特征；最后，設計公共空間嵌入零樣本分類模型，在子空間對齊視覺特征和語義特征，通過最近鄰匹配實現分類任務。在零樣本數據集以及建筑風格數據集上進行實驗評估，結果表明所提方法較當前零樣本學習方法有較高的分類精度，能夠有效解決建筑風格樣本缺乏時的分類問題。

技術領域

本發明屬于圖像處理技術領域，具體涉及的是一種基于雙注意力機制的零樣本建筑圖像分類方法。

背景技術

建筑從地理位置、安全因素、建筑材料等方面考慮，形成不同風格的建筑物。準確識別建筑物的風格對建筑歷史研究、建筑遺產保護和城市建設方面都具有重要意義。在建筑風格分類中，由于不同建筑風格存在相似性，而同一建筑風格又存在差異性，導致標注更加困難，尤其對建筑遺產圖像來說，因其需要被保護，建筑景點不能對外開放，如故宮中的一些殿宇，圖像數據難以獲得、極為珍貴，數據集中的標簽樣本根本不足以涵蓋所有類別。因此，在缺少足夠訓練數據的情況下，如何利用已知建筑風格實例對未知建筑圖像風格進行分類成為一個難點。

零樣本分類技術旨在對訓練階段未出現過的樣本類別進行分類，該技術根據已見類和未見類之間的語義相關性，將已見類的知識遷移用于未見類的識別，可有效解決樣本標簽缺乏時的分類問題。零樣本學習技術的關鍵是學習一個嵌入空間，根據嵌入空間的不同主要分為語義空間嵌入法、視覺空間嵌入法、公共子空間嵌入法：

1、語義空間嵌入法在訓練階段學習一個嵌入函數，將圖像特征映射到語義空間中，度量與語義描述向量的匹配度，匹配度最高的類標簽為測試類輸入圖像的標簽；

2、視覺空間嵌入法將語義向量映射到視覺特征空間中來保留更多描述信息，防止特征空間萎縮，能夠從一定程度上緩解語義空間嵌入的樞紐點問題。但直接學習視覺空間和語義空間之間的映射函數，使模型泛化能力弱，導致零樣本分類的性能差；

3、公共空間嵌入法充分利用視覺和語義兩種模態信息的互補性和一致性，將視覺特征和語義特征映射到公共子空間中，此方法具有良好的判決性和泛化能力，能夠有效緩解域偏移問題。但由于在建筑圖像分類任務中，每種建筑風格外觀特征整體相似，細節元素存在差異，如哥特式建筑從上到下由尖頂、玫瑰窗、飛扶檐、尖拱門組成，而巴洛克由圓拱門、穹頂構成。從空間組成上看每個建筑元素對分類任務的重要程度不同，若采用傳統的卷積神經網絡，以最后一個卷積層的特征作為特征表示，則可能缺乏對建筑結構的針對性，忽略圖像的各個通道和每個空間位置的重要程度，很難提取到魯棒性較高的元素特征。

常見的注意力機制有通道注意力、空間注意力、時間注意力等。其中，通道注意力學習通道的權值并進行交互，而空間注意力通過嵌入位置信息，學習空間中重要的區域。將通道注意力與空間注意力組成的混合注意力網絡學習圖像特征各個維度的權重，并通過特征加權可捕獲圖片不同物體不同位置的細節特征。

發明內容

本發明的主要目的在于克服現有技術中的不足，解決建筑圖像標簽缺失及局部判別性區域定位的不準確的技術問題，本發明提供一種基于雙注意力機制的零樣本建筑圖像分類方法。針對建筑圖像標記數據少甚至某些類別沒有標注數據的情況，使用零樣本學習對建筑風格進行分類(圖1)，以識別難以標注的類別，緩解各風格樣本分布不均衡導致的識別率低下的情況，進一步提高建筑圖像分類精度。視覺注意力能夠注意到與任務相關的區域，去除冗余信息，提取更有鑒別性的視覺特征。

本發明采用的技術方案為：

基于雙注意力機制的零樣本建筑圖像分類方法，包括以下步驟：