[發(fā)明專利]一種基于深度學(xué)習(xí)的遙感影像自動標(biāo)注方法

有效

• 申請?zhí)枺?/td>: 201410039584.3
• 申請日: 2014-01-28
• 公開（公告）號: CN103823845B
• 公開（公告）日: 2017-01-18
• 發(fā)明（設(shè)計）人: 陳華鈞;黃梅龍;江琳;陶金火;楊建華;鄭國軸;吳朝暉
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司33224
• 代理人: 胡紅娟

技術(shù)領(lǐng)域

本發(fā)明涉及遙感影像的智能分類與檢索技術(shù)，特別涉及一種基于深度學(xué)習(xí)的遙感影像自動標(biāo)注方法。

背景技術(shù)

遙感影像是空間信息的重要數(shù)據(jù)之一，廣泛用于地質(zhì)與洪澇災(zāi)害監(jiān)測、農(nóng)業(yè)與森林資源調(diào)查、土地利用與城市規(guī)劃和軍事領(lǐng)域。隨著我國空間科學(xué)和對地觀測技術(shù)的發(fā)展，遙感影像數(shù)據(jù)的數(shù)據(jù)年呈現(xiàn)指數(shù)增長的趨勢，對海量遙感影像數(shù)據(jù)的有效管理變得日益重要。

遙感影像標(biāo)注是遙感影像分析和理解的重要內(nèi)容之一，它是通過提取遙感影像的底層視覺特征，通過一些機器學(xué)習(xí)模型來學(xué)習(xí)這些底層視覺特征與高層語義之間的聯(lián)系來，從而實現(xiàn)將一些語義標(biāo)簽自動標(biāo)注給遙感影像，例如，通過遙感影像自動標(biāo)注過程，可以自動地標(biāo)注出海量遙感影像中居民區(qū)、農(nóng)田、商業(yè)區(qū)、沙漠、森林等等。遙感影像的自動標(biāo)注是對遙感影像語義的理解，也是對海量遙感影像進行類別編目和檢索的重要技術(shù)基礎(chǔ)。

對遙感影像的自動標(biāo)注工作可以看做是對遙感影像的廣義的自動分類工作，即在對遙感影像進行自動標(biāo)注工作之前，需要先確定需要標(biāo)注的遙感影像所對應(yīng)的類別標(biāo)簽（即文本標(biāo)簽）有哪些，然后將不同的遙感影像與不同的類別標(biāo)簽對應(yīng)聯(lián)系起來。

對傳統(tǒng)圖像的標(biāo)注工作主要有3類方法：基于對象本體的方法、基于機器學(xué)習(xí)的方法和基于相關(guān)反饋的方法。傳統(tǒng)圖像的標(biāo)注工作多是通過圖像的低級視覺特征來分析理解圖像的視覺內(nèi)容，但是這種方法大多存在一個問題：“語義鴻溝”。“語義鴻溝”是指并不能僅僅通過圖像的底層視覺特征來推理出圖像的高層語義，在圖像的底層視覺特征與圖像的高層語義之間沒有合適的抽象做橋梁，從而標(biāo)注的效果并不理想。

為了克服“語義鴻溝”的問題，人們慢慢發(fā)展了一些方法來將圖像的底層視覺特征映射到圖像的高層語義，其中典型的方法包括概率潛在語義分析（Probabilistic?Latent?Semantic?Analysis，pLSA）模型、潛在狄利克雷分配（Latent?Dirichlet?Allocation，LDA）模型和作者主題（Author?Topic?Model，ATM）模型等等，但是這些方法多數(shù)只是考慮圖像的顏色紋理特性，而沒有考慮遙感影像的光譜特性。光譜特性是遙感影像的重要特征，也是遙感影像不同于普通圖像數(shù)據(jù)的一個重要特性，對于不同的地物特征，對不同波長的光譜，吸收特性和反射特性會有很大差別，因此遙感影像的光譜特性對不同的地物特征具有很強的辨識能力。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的不足，本發(fā)明提供了一種能夠克服圖像語義標(biāo)注的“語義鴻溝”問題，實現(xiàn)較高精度的語義標(biāo)注的基于深度學(xué)習(xí)的遙感影像自動標(biāo)注方法。

一種基于深度學(xué)習(xí)的遙感影像自動標(biāo)注方法，包括：

（1）提取待標(biāo)注遙感影像的底層特征向量構(gòu)建得到相應(yīng)遙感影像的視覺特征向量；

（2）將所述的視覺特征向量輸入訓(xùn)練好的深度玻爾茲曼機模型進行自動標(biāo)注；

所述步驟（2）中訓(xùn)練好的深度玻爾茲曼機模型通過以下步驟得到：

（S1）創(chuàng)建包含若干個文本標(biāo)簽的標(biāo)簽詞典；

（S2）根據(jù)標(biāo)簽詞典選擇相應(yīng)類別的已標(biāo)注有文本標(biāo)簽遙感影像作為模型訓(xùn)練數(shù)據(jù)集；

（S3）提取各張遙感影像的底層特征向量構(gòu)建得到相應(yīng)遙感影像的視覺特征向量，并根據(jù)標(biāo)簽詞典和文本標(biāo)簽確定各個遙感影像的文本特征向量；

（S4）構(gòu)建深度玻爾茲曼機模型，所述的深度玻爾茲曼機模型從下至上依次包括可見層、第一隱層、第二隱層和標(biāo)簽層；各層中的任意兩個節(jié)點無連接，相鄰層之間的任意兩個節(jié)點之雙向連接；

（S5）利用模型訓(xùn)練數(shù)據(jù)集中的所有遙感影像的視覺特征向量和文本特征向量對所述的深度玻爾茲曼機模型進行訓(xùn)練，得到訓(xùn)練好的深度玻爾茲曼機模型。

本發(fā)明的基于深度學(xué)習(xí)的遙感影像自動標(biāo)注方法中首先提取待標(biāo)注的遙感影像的底層特征并根據(jù)所有的底層特征構(gòu)建得到遙感影像的視覺特征向量，然后直接將視覺特征向量作為深度玻爾茲曼機模型的可見層的輸入，將此時深度玻爾茲曼機模型（DBM模型，Deep?Boltzmann?Machine模型）的標(biāo)簽層的輸出作為文本特征向量，然后采用與文本特征向量對應(yīng)的文本標(biāo)簽對待標(biāo)注遙感影像進行自動標(biāo)注。