[發明專利]一種高效的遙感圖像自監督學習訓練方法

在審

• 申請號: 202210558764.7
• 申請日: 2022-05-20
• 公開（公告）號: CN115170898A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 楊文;張瑞祥;郭浩文;余淮
• 申請（專利權）人: 武漢大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V20/13;G06N3/08;G06V20/10
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種高效的遙感圖像自監督學習訓練方法，其特征在于，具體包括：

構建并訓練遙感圖像自監督網絡用于提取遙感圖像特征，所述遙感圖像自監督網絡由學生-教師網絡構成，其中學生網絡包含特征提取器f_θ、特征投影器g_θ、特征預測器q_θ，教師網絡包含特征提取器f_ξ和特征投影器g_ξ；將進行不同數據增強的成對的遙感圖像視圖v_θ和v′_ξ分別輸入學生網絡和教師網絡，在兩個網絡中，特征提取器都用于提取視圖的深度特征圖得到y_θ、y′_ξ，而特征投影器則是將提取得到的特征圖轉換成特征投影向量，得到z_θ和z′_ξ；學生網絡的特征預測器根據學生網絡的特征投影向量q_θ(z_θ)預測教師網絡的特征投影向量z′_ξ；在迭代訓練的過程中，基于訓練樣本難度選取參與訓練的樣本訓練網絡，學生網絡根據反向傳播更新參數，教師網絡的參數為學生網絡參數的指數移動平均；

具體的，訓練過程采取以下步驟：

步驟01：迭代訓練的第一代，利用全部訓練樣本進行訓練，根據訓練過程中每一個訓練樣本的自監督損失的梯度歸一化值，給每個訓練樣本的難度進行評分；

步驟02：對訓練樣本進行采樣：迭代訓練的第二代到第K代，根據前一代的樣本難度評分排序，選取訓練集樣本難度分布在M1％到M2％分位點之間的數據，該區間的數據全部參與訓練，占數據總量的(M2-M1)％，另外隨機采樣選取0％到M1％分位點、M2％到100％分位點的數據中各有占數據總量5％的樣本被隨機參與訓練，即共有數據總量(M2-M1+5*2)％的數據參與訓練；

步驟03：在每一輪采樣時，參與訓練的樣本同樣需要計算其難度評分，并在下一代訓練時更新全部樣本的難度評分；

步驟04：每訓練K代，重復步驟01～步驟03。

2.如權利要求1所述的一種高效的遙感圖像自監督學習訓練方法，其特征在于：遙感圖像自監督網絡訓練過程中的損失函數為預測得到的向量和教師網絡的特征投影向量歸一化之后的均方誤差，即其中