[發明專利]基于分布式架構的海量遙感數據處理方法及系統

有效

• 申請號: 202010564648.7
• 申請日: 2020-06-19
• 公開（公告）號: CN111723221B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 鄒顯勇;田茂春;賴杭;范光偉;何用;余順超;楊躍
• 申請（專利權）人: 珠江水利委員會珠江水利科學研究院
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/53;G06F16/27;G06F16/538;G06F16/182;G06F9/48;G06T5/00;G06T5/40
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

1.基于分布式架構的海量遙感數據處理方法，其特征在于，包括以下步驟：

S1、獲取所需查找的信息，得到檢索條件；

S2、對檢索條件進行分析，查找影像數據文件元數據信息及其關聯的地圖服務元數據信息，將符合檢索條件的結果反饋到交互界面，當檢索的遙感影像數據文件沒有關聯的地圖瓦片服務時轉入步驟S3，否則轉入步驟S6；

S3、在線構建遙感影像數據金字塔，對所檢索的遙感影像數據文件進行遙感影像瓦片金字塔的在線構建；同時根據需要選擇保存遙感影像瓦片數據并發布地圖瓦片服務，則轉入步驟S4，如果選擇不保存遙感影像瓦片數據的實時動態地圖服務，即將遙感瓦片數據存放在內存中時，則轉到步驟S6；

S4、將遙感影像瓦片數據同步入庫；

S5、進行遙感影像瓦片數據空間索引存儲；

S6、對地圖瓦片服務發布顯示；

步驟S3中在線構建遙感影像數據金字塔的步驟包括：

S31、獲取遙感影像數據文件，將所檢索到的遙感影像數據文件載入到分布式文件存儲系統中后，遙感影像數據文件將被分塊存儲到不同的存儲節點上；

S32、將遙感影像數據文件直方圖均衡化；

S33、若不進行多任務啟動，則直接轉入步驟S34，否則，將多遙感影像數據金字塔在線構建任務同步執行；

S34、進行分布式框架Spark的影像瓦片金字塔的構建；

步驟S32中遙感影像數據文件直方圖均衡化的步驟包括：

S321、設定灰度等級L，構建[0,L-1]個灰度級區間；

S322、通過分布式框架Spark的mapPartions算子分區迭代彈性分布式數據集RDD中的每個分塊；

S323、對每個分塊調用分布式框架Spark的map算子，進行map變換后，針對遙感影像的波段值，形成(R_k,1)的元組對，其中R_k為第k個灰度級，1為固定值，跟每個像素對應；

S324、再通過分布式框架Spark的reduce算子進行合并，得到[0,L-1]各灰度區間的像素個數n_k；

S325、通過分布式框架Spark的count算子，得到像素總數n；

S326、利用公式(1)計算得出直方圖概率分布：

P(r_k)＝n_k/n??(1)

其中，n是圖像的像素總數，n_k是第k個灰度級中的像素總數，r_k是第k個灰度級，k＝0,1,2,3...L-1；

經過圖像直方圖計算后，取概率分布在(Min,Max)之間像素的閾值作為將波段值映射到RGB的門限值，其映射方法如公式(2)：

式中Min代表像素的最小值，Max代表像素的最大值，P_new為變換后的像素值，P_old為原始波段值。

2.根據權利要求1所述的處理方法，其特征在于，步驟S33中多遙感影像金字塔在線構建任務同步執行包括步驟：

S331、進行任務構建；

S332、進行多任務進程啟動；

S333、構建彈性分布式數據集和有向無環圖；

S334、進行任務監控。

3.根據權利要求1所述的處理方法，其特征在于，步驟S34中進行分布式框架Spark的影像瓦片金字塔的構建包括步驟：

S341、進行彈性分布式數據集RDD構建，不同節點的分塊影像數據被分布式框架Spark處理成不同的彈性分布式數據集RDD，分布式框架Spark將不同的彈性分布式數據集RDD數據合并成柵格彈性數據集RasterRDD；

S342、設定采樣算子和影像瓦片的大小TileSize，計算影像的最大分層數Level；

S343、進行金字塔模型構建，調用Ingest對象下的SinkLevel函數建立分布式金字塔模型，從分辨率最小的最上層開始，影像瓦片隨著層級的值不斷向上重構融合，不斷遞歸調用SinkLevel函數，直到Level＝1為止。