[發明專利]一種適于多任務迭代學習記憶的遙感圖像分類方法

有效

• 申請號: 202011074327.5
• 申請日: 2020-10-10
• 公開（公告）號: CN111931747B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 彭劍;李海峰;黃浩哲;陳力;崔振琦
• 申請（專利權）人: 中南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 長沙大珂知識產權代理事務所(普通合伙) 43236
• 代理人: 伍志祥

1.一種適于多任務迭代學習記憶的遙感圖像分類方法，其特征在于，包括以下步驟：

步驟1，初始化模型分類器之前的參數、分類器的固定權重以及分類器的臨時權重，使用隨機梯度下降訓練第一個任務，學習得到和，將分類器的臨時權重賦值給固定權重，利用和預測性能；所述的將分類器的臨時權重賦值給固定權重，包括以下步驟：

對于任務中的每個類j，按照下列公式將分類器的臨時權重賦值給固定權重：

其中，為臨時權重的所有類的均值；

步驟2，利用第一個任務的訓練數據計算模型中每個參數的敏感性，得到參數的敏感性矩陣；所述的計算模型中每個參數的敏感性，得到參數的敏感性矩陣，包括以下步驟：

對于給定的樣本，模型的輸出記為，其中為模型的參數，將參數的微小改變量對模型最終的輸出的改變進行二階泰勒展開：

其中，為輸出函數在樣本上對參數的梯度，H為Hessian矩陣，代表輸出函數在樣本上參數的二階偏導數，表示微小改變量的特定元素；

利用對角Fisher信息矩陣來近似的逼近Hessian矩陣，使用輸出函數的l2范數的平方對參數的梯度來代替計算參數敏感性，通過一次反向傳播就可以計算出參數的敏感性矩陣，公式如下：

按照下列公式計算模型中的每個參數的敏感性矩陣：

其中，代表網絡模型中每個參數對于該任務的敏感性矩陣，表示第個樣本點，表示樣本總數，表示輸出函數的l2范數的平方；

步驟3，當模型學習新的任務時，將參數的敏感性矩陣作為一個正則項添加到模型原有的損失函數中，然后使用修改后的損失函數對模型進行訓練，學習得到分類器之前的參數；

步驟4，在分類器中拓展新的神經元用于學習新任務中的新的類，重新初始化分類器的臨時權重，使用隨機梯度下降訓練模型，學習得到分類器的臨時權重，將分類器的臨時權重賦值給固定權重，利用和預測性能；

步驟5，利用新任務的訓練數據計算模型中每個參數的敏感性矩陣，將當前任務的敏感性矩陣與之前任務的敏感性矩陣進行累加并取均值，作為下一個任務訓練的損失函數中添加的參數的敏感性矩陣；具體按照下列公式計算累加之后取均值的參數的敏感性矩陣：

其中，為當前任務的敏感性矩陣，為之前任務的敏感性矩陣，

為任務數量；

步驟6，每當進來一個新任務對其進行訓練時，重復步驟3、步驟4和步驟5即可；

步驟7，使用訓練好的模型分類器對遙感圖像進行分類。

2.根據權利要求1所述的遙感圖像分類方法，其特征在于，步驟3中所述的當模型學習新的任務時，將參數的敏感性矩陣作為一個正則項添加到模型原有的損失函數中，然后使用修改后的損失函數對模型進行訓練，學習得到分類器之前的參數，包括以下步驟：

每當新進來一個任務時，按照下列公式對在其任務的原有損失函數上添加一個正則項來限制分類器之前的參數的更新：

其中，代表修改之后模型總的損失函數，代表模型在當前任務上的損失函數，代表正則項的超參數，代表當前任務的分類器之前的參數，代表之前任務的分類器之前的參數。