[發(fā)明專利]一種高效的遙感圖像自監(jiān)督學(xué)習(xí)訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 202210558764.7
• 申請日: 2022-05-20
• 公開（公告）號: CN115170898A
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計(jì)）人: 楊文;張瑞祥;郭浩文;余淮
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V20/13;G06N3/08;G06V20/10
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明公開了一種自監(jiān)督學(xué)習(xí)訓(xùn)練加速方法，通過提取網(wǎng)絡(luò)損失的梯度歸一化值來實(shí)現(xiàn)對樣本難度的評估，之后基于樣本的難度評分在訓(xùn)練時(shí)采樣難度合適的數(shù)據(jù)進(jìn)行訓(xùn)練，有限的計(jì)算資源下加快網(wǎng)絡(luò)的收斂，實(shí)現(xiàn)更高效地自監(jiān)督學(xué)習(xí)。相對于通用的自監(jiān)督學(xué)習(xí)訓(xùn)練方法，在同樣的計(jì)算設(shè)備下，本發(fā)明公開的方法能夠節(jié)省約50％的訓(xùn)練時(shí)間，本發(fā)明可以有效地應(yīng)用到基于深度學(xué)習(xí)的自監(jiān)督學(xué)習(xí)任務(wù)中去，有效地加快收斂，節(jié)約計(jì)算資源。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種高效地遙感圖像自監(jiān)督學(xué)習(xí)訓(xùn)練方法。

背景技術(shù)

目前，我國有多顆遙感衛(wèi)星體系在軌運(yùn)行，每日產(chǎn)生的遙感影像數(shù)據(jù)多達(dá)數(shù)百TB。大量的數(shù)據(jù)給遙感圖像解譯任務(wù)提供了厚實(shí)的基礎(chǔ)，但是由于遙感圖像標(biāo)注費(fèi)時(shí)費(fèi)力，利用標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)成本高昂，這一現(xiàn)象促進(jìn)了遙感圖像自監(jiān)督學(xué)習(xí)的發(fā)展。遙感圖像自監(jiān)督學(xué)習(xí)旨在利用無標(biāo)注的遙感數(shù)據(jù)學(xué)習(xí)更好的遙感圖像特征表征，能夠遷移到下游的目標(biāo)檢測、場景分類、地物分類等圖像解譯任務(wù)中去并獲得更好的性能。

挖掘圖像固有的空間或語義關(guān)聯(lián)屬性，這種特性讓自監(jiān)督學(xué)習(xí)可以從海量的遙感數(shù)據(jù)中吸收到通用的表征，但因?yàn)闃?biāo)簽信息的缺失，自監(jiān)督訓(xùn)練需要的迭代次數(shù)一般遠(yuǎn)多于全監(jiān)督訓(xùn)練。按照一般遙感圖像自監(jiān)督學(xué)習(xí)的訓(xùn)練流程，在百萬級的數(shù)據(jù)集上迭代訓(xùn)練200代(epoch)大約需要Tesla V100運(yùn)行1600(卡·時(shí))。龐大的計(jì)算資源需求不僅為中小型研究機(jī)構(gòu)的入場設(shè)置了壁壘，也使自監(jiān)督模型和方法難以迭代和調(diào)優(yōu)。因此，需要對遙感圖像自監(jiān)督的訓(xùn)練策略進(jìn)行一定的優(yōu)化，更加有效地利用計(jì)算資源，設(shè)計(jì)一種高效的遙感圖像自監(jiān)督學(xué)習(xí)訓(xùn)練方法。

發(fā)明內(nèi)容

經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，遙感圖像自監(jiān)督學(xué)習(xí)是十分消耗計(jì)算資源的，網(wǎng)絡(luò)平等地處理每一張訓(xùn)練樣本不夠高效，因此我們從訓(xùn)練樣本的難度入手，優(yōu)化自監(jiān)督學(xué)習(xí)的訓(xùn)練過程。在遙感圖像中，感興趣的目標(biāo)往往呈現(xiàn)聚集式分布，部分區(qū)域例如城市，其對應(yīng)的遙感圖像存在大量的感興趣目標(biāo)，屬于較難挖掘的數(shù)據(jù)。而在山地、田地、海面這些區(qū)域，圖像中包含的感興趣目標(biāo)較少且外觀單一，樣本相對簡單。目前的算法平等地對待所有訓(xùn)練數(shù)據(jù)，這導(dǎo)致了訓(xùn)練效率較低。在網(wǎng)絡(luò)訓(xùn)練前期，網(wǎng)絡(luò)無法掌握過于困難的數(shù)據(jù)，而這些數(shù)據(jù)產(chǎn)生的梯度又會(huì)接近噪聲，使網(wǎng)絡(luò)不穩(wěn)定甚至發(fā)生梯度爆炸；在網(wǎng)絡(luò)訓(xùn)練后期，較為簡單的數(shù)據(jù)又對其幫助不大，過小的梯度也會(huì)稀釋其他樣本的訓(xùn)練效果。因此，在適當(dāng)?shù)挠?xùn)練階段為不同類型的樣本賦予適當(dāng)?shù)牟蓸訖?quán)重，可以有助于提升網(wǎng)絡(luò)的訓(xùn)練效率。

然而，在遙感圖像自監(jiān)督學(xué)習(xí)中，僅使用網(wǎng)絡(luò)產(chǎn)生的損失大小來度量訓(xùn)練樣本的難易程度是較為片面的。一方面，網(wǎng)絡(luò)產(chǎn)生的損失只能反映當(dāng)前時(shí)刻模型對其表征能力的強(qiáng)弱，并不能體現(xiàn)數(shù)據(jù)本身的語義豐富程度或訓(xùn)練價(jià)值。另一方面，自監(jiān)督學(xué)習(xí)使用了強(qiáng)度很高的數(shù)據(jù)增強(qiáng)策略，網(wǎng)絡(luò)產(chǎn)生的損失就不能直接地代表圖像本身的難易程度，而會(huì)受到數(shù)據(jù)增強(qiáng)的干擾。

為解決上述技術(shù)問題，本發(fā)明通過提取網(wǎng)絡(luò)損失的梯度歸一化(GradientNormalization，GradNorm)來實(shí)現(xiàn)對樣本難度的評估，并根據(jù)樣本的難度設(shè)計(jì)了一種優(yōu)化的訓(xùn)練策略，可以實(shí)現(xiàn)更加高效地自監(jiān)督學(xué)習(xí)訓(xùn)練。本發(fā)明所采用的技術(shù)方案是：一種高效的遙感圖像自監(jiān)督學(xué)習(xí)訓(xùn)練方法，具體包括：