[發明專利]基于檢索話題記憶網絡的遙感圖像描述方法

有效

• 申請號: 201910407008.2
• 申請日: 2019-05-16
• 公開（公告）號: CN110287355B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 盧孝強;王斌強;鄭向濤
• 申請（專利權）人: 中國科學院西安光學精密機械研究所
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F40/216;G06F40/30;G06K9/62
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 唐沛

本發明提供了一種基于檢索話題記憶網絡的遙感圖像描述方法，其目的是為了解決現有的遙感圖像描述方法無法解決數據庫當中存在的標注偏差、確定性信息無約束的問題。該方法包括以下步驟：1)選取高分圖像?文本數據庫；2)對高分圖像?文本數據庫中標注文本進行話題提取：3)利用深度神經網絡ResNet對高分圖像?文本數據庫當中的原始遙感圖像提取圖像特征；4)對原始遙感圖像對應的標注文本進行標注文本表達；5)利用話題表達，圖像特征和標注文本表達來訓練話題記憶網絡；6)將任意一張原始遙感圖像輸入至訓練完成的話題記憶網絡模型，模型會輸出描述文本。

技術領域

本發明屬于圖像信息處理技術領域，特別涉及一種基于檢索話題記憶網絡的遙感圖像描述方法，可用于地震災害評估以及海洋監測等領域。

背景技術

高分辨率遙感圖像已應用于地震災害的分級評估、海洋觀測等領域。隨著遙感以及相關技術的不斷發展，更高分辨率遙感圖像的獲取越來越方便。每時每刻，都在產生大量的遙感圖像，這些遙感圖像從生成到傳輸都要耗費巨大的人力物力，如何能夠更詳盡地挖掘遙感圖像中的信息，以更有效地發揮遙感圖像的重要作用具有重要意義。

為了挖掘遙感圖像中的信息，需要研究基于遙感圖像的語義理解，對高分辨率遙感圖像進行描述，將高分辨率的遙感圖像信息轉化成為人類能夠理解的文本信息。遙感圖像不同于普通的自然圖像：首先，遙感圖像是利用傳感器(衛星，航空航天器等)從遠處來感知物體的手段；其次，傳感器位置不同，對相同的物質會呈現出不同的大小和相對位置，使得遙感圖像的語義理解更加困難；最后，因為遙感圖像對于普通人而言不熟悉，在標注的時候存在一個不完全標注的問題，更使得遙感圖像的語義理解與自然圖像的語義理解大有不同。

為了利用有監督的機器學習手段解決遙感圖像語義理解的問題，業內研究人員標注了相應的機器學習數據庫。文獻“B.Qu,X.Li,D.Tao,and X.Lu,“Deep semanticunderstanding of high resolution remote sensing image,”in Proceedings of theInternational Conference on Computer,Information and TelecommunicationSystems,2016,pp.124–128”首次提出基于機器學習來研究遙感圖像的語義理解方法，并提出了兩個遙感語義理解方法的數據庫，這兩個數據庫分別是UCM-captions和Sydney-captions。其中，UCM-captions包含2100張遙感圖像，每張圖像對應五句不同的文本標注，Sydney-captions包含613遙感圖像，每張圖像對應五句不同的文本標注。文獻“X.Lu,B.Wang,X.Zheng,and X.Li,“Exploring models and data for remote sensing imagecaption generation,”IEEE Transactions on Geoscience and Remote Sensing,vol.56,no.4,pp.2183–2195,2017.”針對遙感圖像不同于自然圖像的類別模糊，尺度多變等特點，推出了數據庫RSICD(Remote Sensing Image Caption Dataset)，其中包含10921張遙感圖像，并邀請不同的志愿者對圖像進行了標注，每個圖像對應五句不同的文本標注。

由于從數據庫中通過圖像檢索句子是非常困難的，為了有效利用上述遙感圖像數據庫中的信息，技術人員采用了以下兩類方法，構建了從數據庫中獲取遙感圖像對應的句子：