[發(fā)明專利]基于自監(jiān)督學習及多任務學習的高光譜開放集分類方法

有效

• 申請?zhí)枺?/td>: 202110748974.8
• 申請日: 2021-07-02
• 公開（公告）號: CN113392931B
• 公開（公告）日: 2023-02-10
• 發(fā)明（設計）人: 慕彩紅;劉逸;孫慶虎;王蓉芳;馮婕;劉若辰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/0895;G06V20/10
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華;王喜媛

本發(fā)明公開了一種基于自監(jiān)督學習和多任務學習的高光譜開放集分類方法，主要解決現(xiàn)有高光譜開放集分類方法無法充分利用高光譜開放集的無標簽樣本，導致分類精度低的問題，其實現(xiàn)方案為：輸入高光譜圖像并對其進行預處理；對預處理后的圖像進行鄰域取塊，生成訓練數(shù)據(jù)集與測試數(shù)據(jù)集；構建基于自監(jiān)督學習和多任務學習的神經網絡模型；利用訓練數(shù)據(jù)集，采用自監(jiān)督學習方法和多任務學習方法對所構建的神經網絡模型進行訓練；將測試數(shù)據(jù)集輸入到訓練好的神經網絡模型中得到分類結果。本發(fā)明能充分利用無標簽樣本信息，緩解有標簽樣本少的問題，提高了分類精度，可應用于環(huán)境監(jiān)測、資源勘探、城市規(guī)劃及農業(yè)計劃。

技術領域

本發(fā)明屬于圖像處理技術領域，更進一步涉及一種高光譜開放集分類方法，可應用于環(huán)境監(jiān)測、資源勘探、城市規(guī)劃及農業(yè)計劃。

背景技術

高光譜以其豐富的波段信息記錄了地物目標的連續(xù)光譜特征，能夠進行更多種類的地物目標識別和更高精度的目標分類。近期，隨著深度學習在各個領域的廣泛應用，高光譜圖像分類領域也出現(xiàn)了多種深度學習分類方法，如自編碼器、卷積神經網絡、深度信念網絡。而且，具有未知類識別能力的深度學習分類方法的提出也緩解了傳統(tǒng)高光譜圖像分類方法無法進行未知高光譜圖像類別識別的問題，但是，這種對未知類識別方法在樣本量較少時的效果始終達不到人們的預期。

在深度學習背景下，開放集分類方法逐漸被提出，A.Bendale等人在發(fā)表的論文“Towards open set deep networks”(IEEE conference on Computer Vision andPattern Recognition,2016,pp.1563–1572.)中提出了一種名為OpenMax的方法，它使網絡能夠估計一個樣本是未知類別的概率，從而通過極值理論確定其是否為未知類。該方法是第一個基于深度學習的開放集分類方法，但是其不能有效地利用樣本的潛在特征，并且需要大量的訓練樣本。R.Yoshihashi等人在發(fā)表的論文“Classification-reconstructionlearning for open-set recognition”(IEEE Conference on Computer Vision andPattern Recognition,2019,pp.4016–4025.)中提出一種名為CROSR的開放集識別增強方法，其通過添加一個輔助任務來改進OpenMax方法以有效地利用樣本的潛在特征，但是該方法仍然需要利用大量訓練樣本來估計每個類別的質心，從而限制了其在高光譜圖像分類中的性能。

針對樣本量較少時的高光譜開放集分類任務，Liu S等人在發(fā)表的論文“Few-shothyperspectral image classification with unknown classes using multitask deeplearning”(IEEE Transactions on Geoscience and Remote Sensing,2020.)中提出了一種名為MDL4OW的基于深度學習的小樣本高光譜開放集分類方法，該方法可以在存在未知類的高光譜開放集中同時進行分類和重建，并通過極值理論區(qū)分未知類別和已知的類別。但該方法沒有充分利用高光譜開放集中的無標簽數(shù)據(jù)的豐富信息來充分訓練網絡，因此無法充分提升網絡的擬合能力和魯棒性。

發(fā)明內容

本發(fā)明的目的在于針對上述現(xiàn)有技術的不足，提出一種基于自監(jiān)督學習及多任務學習的高光譜開放集分類方法，以充分利用高光譜開放集的無標簽樣本，提升網絡的分類能力和未知類識別能力。

本發(fā)明的技術方案是，構建包含特征提取子網絡、數(shù)據(jù)重建子網絡和分類子網絡的神經網絡模型；通過自監(jiān)督學習方法，利用開放集的無標簽樣本充分訓練該神經網絡模型的特征提取子網絡和數(shù)據(jù)重建子網絡；利用多任務學習方法訓練整個神經網絡模型，完成高光譜開放集分類任務。實現(xiàn)步驟包括如下：

(1)獲取一幅三維高光譜圖像X∈R^m×n×b和對應的標簽圖Y∈R^m×n，其中，R表示實數(shù)域符號，m表示X和Y的行像素點個數(shù)，n表示X和Y的列像素點個數(shù)，b代表高光譜圖像的波段個數(shù)；