[發明專利]一種多層寬度神經網絡及其訓練方法和應用

在審

• 申請號: 202110279067.3
• 申請日: 2021-03-16
• 公開（公告）號: CN112966623A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 席江波;姜萬冬;謝大帥;叢銘;房建武;吳田軍;趙超英
• 申請（專利權）人: 長安大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安睿通知識產權代理事務所(特殊普通合伙) 61218
• 代理人: 惠文軒

本發明屬于人工智能和機器學習技術領域，公開了一種多層寬度神經網絡及其訓練方法和應用，可用高光譜遙感影像和普通圖像分類任務。其每一層由滑動窗口的變換核進行非線性變換，向寬方向擴展以充分學習空間和頻譜特征，并且引入了排序和下采樣操作以減少該層的變換內核層的輸出數量，每一層稱為寬度滑動窗口和下采樣層，即WSWS層，將多個WSWS層級聯可以更大視野的更高級別的空間和光譜特征。該網絡只需學習全連接層的權值，從而可以輕松的進行訓練。

技術領域

本發明涉及人工智能和機器學習技術領域，具體涉及一種多層寬度神經網絡及其訓練方法和應用；可用高光譜遙感影像分類任務，也可應用于普通圖像分類問題。

背景技術

高光譜圖像(Hyperspectral Image，HSI)包含數百個連續光譜帶，這使它們具有豐富的信息可對不同的地面物體進行分類。這些圖像與分類方法一起可以用于以下應用：包括農業監測、土地覆蓋的變化檢測、城市制圖、森林保護和物體檢測。HSI分類的一個困難是由于成像過程中不同的照明、大氣環境等而導致具有不同光譜特征的均質地面物體。另一個困難是，盡管大量的光譜帶提供了大量的數據，但是訓練數據通常非常有限，并且由于混合像素，圖像場景變得復雜。在過去的幾十年中，研究人員使用了不同的機器學習方法，包括k個最近鄰(KNN)、支持向量機(SVM)、多層感知器(MLP)和徑向基函數網絡(RBF)等，這些方法主要在光譜域內。

許多基于CNN的深度學習高光譜圖像分類方法可在空間和頻譜域中學習特征。與僅使用從空間域或空間域和頻譜域兩者中手動提取的特征的前述方法相比，這是一個很大的優勢。盡管深度學習方法在各個領域都有了很大的改進，但是由于參數眾多，它們通常需要很長的訓練時間。另一個問題是，隨著深度的增加，CNN會實現更高的性能。然而，高光譜圖像的訓練樣本通常數量有限。因此，很難使用包含許多層和大量卷積內核的CNN用于HSI分類以提取空間特征。

然而，寬度學習具有自身的諸多優點，這里的寬度是指完全連接卷積層中隱藏的神經元或通道的數量。寬度的全連接神經網絡等效于高斯過程，具備很好的泛化能力。

發明內容

針對現有技術存在的問題，本發明的目的在于提供一種多層寬度神經網絡(Multi-layer Wide Neural Network，MWNN)及其訓練方法和應用，該神經網絡的每一層基于具有滑動窗口的變換核，可以向寬度方向擴展以充分了解空間和頻譜特征，同時引入了排序和下采樣以減少該層的變換核層的輸出數量；每一層稱為寬度滑動窗口和下采樣(Wide Sliding Window and Subsampling，WSWS)層。將多個WSWS層級聯能夠學習更大視野的更高級別的空間和光譜特征。最后，將具有線性權重的完全連接層與WSWS層組合以預測像素類別。

為了達到上述目的，本發明采用以下技術方案予以實現。

(一)一種多層寬度神經網絡，包括多個依次級聯的寬度滑動窗口和下采樣層及全連接層，每個寬度滑動窗口和下采樣層包含多個變換核層；每個變換核層通過寬度滑動窗口模塊和下采樣模塊構造；對于輸入數據p_WSWS＝[p₁，p₂，…，p_N]，寬度滑動窗口模塊G_WWS由N組高斯核表示：G_WWS＝[G₁，…，G_n，…，G_N]；在滑動過程中，每個高斯核在寬度方向上擴展；即第n次滑動中，每個高斯核G_n由M_n個高斯內核組成

其中，表示第n次滑動中的第M_n個高斯內核；寬度表示的是寬度滑動窗口和下采樣層中隱藏單元的數量。

進一步地，所述多層寬度神經網絡中的寬度滑動窗口和下采樣層的個數由待學習數據集的數據量和分類精度要求來確定。

進一步地，每個高斯核內的高斯內核的數量不同。