[發明專利]一種基于深度學習的遙感影像自動標注方法

有效

• 申請號: 201410039584.3
• 申請日: 2014-01-28
• 公開（公告）號: CN103823845B
• 公開（公告）日: 2017-01-18
• 發明（設計）人: 陳華鈞;黃梅龍;江琳;陶金火;楊建華;鄭國軸;吳朝暉
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州天勤知識產權代理有限公司33224
• 代理人: 胡紅娟

技術領域

本發明涉及遙感影像的智能分類與檢索技術，特別涉及一種基于深度學習的遙感影像自動標注方法。

背景技術

遙感影像是空間信息的重要數據之一，廣泛用于地質與洪澇災害監測、農業與森林資源調查、土地利用與城市規劃和軍事領域。隨著我國空間科學和對地觀測技術的發展，遙感影像數據的數據年呈現指數增長的趨勢，對海量遙感影像數據的有效管理變得日益重要。

遙感影像標注是遙感影像分析和理解的重要內容之一，它是通過提取遙感影像的底層視覺特征，通過一些機器學習模型來學習這些底層視覺特征與高層語義之間的聯系來，從而實現將一些語義標簽自動標注給遙感影像，例如，通過遙感影像自動標注過程，可以自動地標注出海量遙感影像中居民區、農田、商業區、沙漠、森林等等。遙感影像的自動標注是對遙感影像語義的理解，也是對海量遙感影像進行類別編目和檢索的重要技術基礎。

對遙感影像的自動標注工作可以看做是對遙感影像的廣義的自動分類工作，即在對遙感影像進行自動標注工作之前，需要先確定需要標注的遙感影像所對應的類別標簽（即文本標簽）有哪些，然后將不同的遙感影像與不同的類別標簽對應聯系起來。

對傳統圖像的標注工作主要有3類方法：基于對象本體的方法、基于機器學習的方法和基于相關反饋的方法。傳統圖像的標注工作多是通過圖像的低級視覺特征來分析理解圖像的視覺內容，但是這種方法大多存在一個問題：“語義鴻溝”。“語義鴻溝”是指并不能僅僅通過圖像的底層視覺特征來推理出圖像的高層語義，在圖像的底層視覺特征與圖像的高層語義之間沒有合適的抽象做橋梁，從而標注的效果并不理想。

為了克服“語義鴻溝”的問題，人們慢慢發展了一些方法來將圖像的底層視覺特征映射到圖像的高層語義，其中典型的方法包括概率潛在語義分析（Probabilistic?Latent?Semantic?Analysis，pLSA）模型、潛在狄利克雷分配（Latent?Dirichlet?Allocation，LDA）模型和作者主題（Author?Topic?Model，ATM）模型等等，但是這些方法多數只是考慮圖像的顏色紋理特性，而沒有考慮遙感影像的光譜特性。光譜特性是遙感影像的重要特征，也是遙感影像不同于普通圖像數據的一個重要特性，對于不同的地物特征，對不同波長的光譜，吸收特性和反射特性會有很大差別，因此遙感影像的光譜特性對不同的地物特征具有很強的辨識能力。

發明內容

針對現有技術中的不足，本發明提供了一種能夠克服圖像語義標注的“語義鴻溝”問題，實現較高精度的語義標注的基于深度學習的遙感影像自動標注方法。

一種基于深度學習的遙感影像自動標注方法，包括：

（1）提取待標注遙感影像的底層特征向量構建得到相應遙感影像的視覺特征向量；

（2）將所述的視覺特征向量輸入訓練好的深度玻爾茲曼機模型進行自動標注；

所述步驟（2）中訓練好的深度玻爾茲曼機模型通過以下步驟得到：

（S1）創建包含若干個文本標簽的標簽詞典；

（S2）根據標簽詞典選擇相應類別的已標注有文本標簽遙感影像作為模型訓練數據集；

（S3）提取各張遙感影像的底層特征向量構建得到相應遙感影像的視覺特征向量，并根據標簽詞典和文本標簽確定各個遙感影像的文本特征向量；

（S4）構建深度玻爾茲曼機模型，所述的深度玻爾茲曼機模型從下至上依次包括可見層、第一隱層、第二隱層和標簽層；各層中的任意兩個節點無連接，相鄰層之間的任意兩個節點之雙向連接；

（S5）利用模型訓練數據集中的所有遙感影像的視覺特征向量和文本特征向量對所述的深度玻爾茲曼機模型進行訓練，得到訓練好的深度玻爾茲曼機模型。

本發明的基于深度學習的遙感影像自動標注方法中首先提取待標注的遙感影像的底層特征并根據所有的底層特征構建得到遙感影像的視覺特征向量，然后直接將視覺特征向量作為深度玻爾茲曼機模型的可見層的輸入，將此時深度玻爾茲曼機模型（DBM模型，Deep?Boltzmann?Machine模型）的標簽層的輸出作為文本特征向量，然后采用與文本特征向量對應的文本標簽對待標注遙感影像進行自動標注。