[發明專利]基于分布式架構的海量遙感數據處理方法及系統

有效

• 申請號: 202010564648.7
• 申請日: 2020-06-19
• 公開（公告）號: CN111723221B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 鄒顯勇;田茂春;賴杭;范光偉;何用;余順超;楊躍
• 申請（專利權）人: 珠江水利委員會珠江水利科學研究院
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/53;G06F16/27;G06F16/538;G06F16/182;G06F9/48;G06T5/00;G06T5/40
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

本發明涉及海量遙感應用服務技術領域，為基于分布式架構的海量遙感數據處理方法及系統。其方法包括：S1、獲取所需查找信息；S2、進行海量遙感影像數據庫檢索，如檢索的遙感影像文件沒有關聯的地圖瓦片服務則轉入步驟S3，否則轉入步驟S6；S3、在線構建遙感影像數據金字塔，如選擇保存遙感瓦片數據并發布地圖瓦片服務，則轉入步驟S4，如選擇不保存，則轉到步驟S6；S4、將遙感瓦片數據同步入庫；S5、進行遙感瓦片數據空間索引存儲；S6、對地圖瓦片服務發布顯示。本發明通過分布式架構，實現了大數據時代海量遙感數據存儲、管理、可視化和數據服務一站式處理的需求。

技術領域

本發明涉及海量遙感應用服務技術領域，尤其涉及基于分布式架構的海量遙感數據處理方法及系統。

背景技術

隨著遙感數據獲取手段的增加，遙感數據逐步呈現多源、多尺度、多時相等特征，然而數據量的爆炸性增長，使得需要處理的遙感數據信息急劇增加，導致海量遙感數據存放零散無序、數據安全沒保障、數據檢索查找困難等問題的出現。以柵格文件為主的海量遙感數據無法快速地共享和直接使用，而基于商業軟件影像服務發布的技術，自動化程度低，服務提供不及時，難以快速可視化瀏覽，數據存儲與數據服務脫節，無法將數據資源快速轉為地圖服務，造成海量遙感影像“存而無用”，數據資源大量閑置。

在現有技術中，對海量遙感管理、服務發布、在線可視化瀏覽的技術大多數是相互獨立的，或為了解決海量遙感數據存儲管理的需求，或為了解決遙感數據快速發布的需求，缺少一個將兩者有機結合的方法和系統。如于2016年6月8日授權公告的發明名稱為《一種遙感數據需求一站式處理方法》、授權公告號為CN?103559327B的發明專利，提供了一種整合在線數據服務、歸檔數據調用、數據生產調度和編程數據服務的遙感數據需求一站式處理方法，但該方法依然采用傳統技術路線，偏重數據快速分發，對于海量遙感數據管理以及可視化顯示則沒有考慮；于2018年8月10日授權公告的發明名稱為《一種基于Hadoop的大數據遙感衛星數據處理系統》、授權公告號為CN?105045856B的發明專利，主要是基于Hadoop的數據平臺實現遙感衛星數據的分布式存儲和管理，但沒有將遙感數據轉換為遙感地圖服務，無法滿足海量遙感影像數據在線可視化瀏覽；于2019年12月3日公開的發明名稱為《一種海量影像服務快速發布與瀏覽方法及系統》、公開號為CN?110427446A的發明申請提出了一套影像服務發布流程，利用服務器集群對柵格數據進行分布式文件存儲、分布式裁剪及更新，將數據進行壓縮后存入分布式數據庫，其影像服務發布主要是通過讀取分布式數據庫或直接原數據繪制來進行可視化顯示，由于沒有建立空間數據索引，查詢瀏覽性能較低，此外，沒有考慮利用分布式計算框架來提升影像服務計算處理能力。

因此，需要尋找一種更有序、更高效管理遙感數據，并快速提供遙感地圖服務及可視化顯示，實現“數據到服務”快速轉化的技術方案。

發明內容

為解決現有技術所存在的技術問題，本發明提供基于分布式架構的海量遙感數據處理方法及系統，通過分布式架構，實現了海量遙感“從數據到服務”的快速轉換，做到所見即所得，有效解決了用戶對海量遙感數據處理及地圖服務應用的高時效性需求問題，滿足了大數據時代海量遙感數據存儲、管理、可視化和數據服務一站式處理的需求。

本發明方法采用以下技術方案來實現：基于分布式架構的海量遙感數據處理方法，包括以下步驟：

S1、獲取所需查找的信息，得到檢索條件；

S2、對檢索條件進行分析，查找影像數據文件元數據信息及其關聯的地圖服務元數據信息，將符合檢索條件的結果反饋到交互界面，當檢索的遙感影像數據文件沒有關聯的地圖瓦片服務時轉入步驟S3，否則轉入步驟S6；

S3、在線構建遙感影像數據金字塔，對所檢索的遙感影像數據文件進行遙感影像瓦片金字塔的在線構建；同時根據需要選擇保存遙感影像瓦片數據并發布地圖瓦片服務，則轉入步驟S4，如果選擇不保存遙感影像瓦片數據的實時動態地圖服務，即將遙感瓦片數據存放在內存中時，則轉到步驟S6；