[發明專利]一種適于多任務迭代學習記憶的遙感圖像分類方法

有效

• 申請號: 202011074327.5
• 申請日: 2020-10-10
• 公開（公告）號: CN111931747B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 彭劍;李海峰;黃浩哲;陳力;崔振琦
• 申請（專利權）人: 中南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 長沙大珂知識產權代理事務所(普通合伙) 43236
• 代理人: 伍志祥

本發明公開了一種適于多任務迭代學習記憶的遙感圖像分類方法，包括：初始化模型分類器之前的參數、固定權重、臨時權重，利用參數權重預測性能；利用第一個任務的訓練數據計算模型中每個參數的敏感性；當模型學習新的任務時，使用修改后的損失函數對模型進行訓練，學習得到分類器之前的參數；在分類器中拓展新的神經元用于學習新任務中的新的類，重新初始化分類器的臨時權重，學習得到分類器的臨時權重，利用參數權重預測性能；利用新任務的訓練數據計算模型中每個參數的敏感性矩陣，計算作為下一個任務訓練的損失函數中添加的參數的敏感性矩陣；每當進來一個新任務對其進行訓練時，重復步驟；使用訓練好的模型分類器對遙感圖像進行分類。

技術領域

本發明涉及遙感圖像處理與識別技術領域，尤其涉及一種適于多任務迭代學習記憶的遙感圖像分類方法。

背景技術

在當前大數據和人工智能快速發展的時代，在面臨不斷更新迭代的海量數據時，深度學習模型也需要不斷的進行學習和更新，不斷的調整模型以滿足當前人們的需求。然而，現有的深度學習模型一旦在特定的任務上訓練完成后，該模型就只能用于該項任務的預測，一旦模型繼續學習新的任務，就會在之前已經學習過的任務上出現災難性遺忘的現象,即模型無法保持在舊任務上的性能。而每次都將所有的數據混合在一起重新對模型進行訓練的方式不僅浪費了存儲空間，而且也將消耗大量的時間來訓練模型，大大降低了深度學習算法的實用化和商業化的可能性。因此，災難性遺忘問題嚴重影響了深度學習模型在持續學習多個任務時的性能。

為了減輕深度學習模型中存在的災難性遺忘問題，過去的一些研究主要可以分為三大類：1）基于正則化的連續學習方法；2）基于結構化的連續學習方法；3）基于預排練的連續學習方法。其中，基于正則化的連續學習方法包括彈性權重鞏固EWC、記憶感知突觸MAS等方法，通過約束對舊任務重要參數的更新來減輕模型對舊任務的災難性遺忘，然而，隨著學習的新任務數量的增加，重要參數的累積誤差增加，模型無法找到滿足所有任務的公共解空間，因而造成模型克服災難性遺忘的能力下降；基于結構化的連續學習方法例如CWR，通過凍結一部分神經元結構來保護模型在舊任務上的性能，但是這種方法喪失了學習新任務時對網絡結構調整的靈活性；基于預排練的連續學習方法認為，不定期的讓模型見到一些舊任務的樣本有助于喚醒模型對舊任務的性能，例如在iCARL方法中，使用了一個范例集來存儲舊任務的典型的部分樣本數據?；陬A排練的方法不僅能夠有效地控制災難性遺忘，而且還能提高模型在舊任務上的準確性，但該方法需要存儲舊任務的歷史數據。當前克服災難性遺忘的方法存在以上弊端，因此，需要一種更加精確、實用、可靠、有效的方法來解決深度學習模型中災難性遺忘的問題，進而適于多任務迭代學習記憶的遙感圖像分類方法。

發明內容

有鑒于此，本發明的目的在于提供一種適于多任務迭代學習記憶的遙感圖像分類方法，所述方法基于參數敏感性與結構化相結合，能夠有效的克服深度學習模型中存在的災難性遺忘的問題，適于解決多任務迭代學習記憶的遙感圖像分類問題。

本發明的目的是這樣實現的，一種適于多任務迭代學習記憶的遙感圖像分類方法，包括以下步驟：

步驟1，初始化模型分類器之前的參數、分類器的固定權重以及分類器的臨時權重，使用隨機梯度下降訓練第一個任務，學習得到和，將分類器的臨時權重賦值給固定權重，利用和預測性能；

步驟2，利用第一個任務的訓練數據計算模型中每個參數的敏感性，得到參數的敏感性矩陣；

步驟3，當模型學習新的任務時，將參數的敏感性矩陣作為一個正則項添加到模型原有的損失函數中，然后使用修改后的損失函數對模型進行訓練，學習得到分類器之前的參數；

步驟4，在分類器中拓展新的神經元用于學習新任務中的新的類，重新初始化分類器的臨時權重，使用隨機梯度下降訓練模型，學習得到分類器的臨時權重，將分類器的臨時權重賦值給固定權重，利用和預測性能；