[發(fā)明專利]一種海洋數(shù)據(jù)采集以及元數(shù)據(jù)管理方法

在審

• 申請?zhí)枺?/td>: 201710055328.7
• 申請日: 2017-01-24
• 公開（公告）號: CN106777370A
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計）人: 強保華;周旭康;史喜娜;張學慶;趙正健;孫忠旭
• 申請（專利權(quán)）人: 桂林電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州市一新專利商標事務(wù)所有限公司44220
• 代理人: 滕杰鋒

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體涉及海洋數(shù)據(jù)的采集與元數(shù)據(jù)生成、存儲和查詢的方法。

背景技術(shù)

為了了解海洋，合理利用海洋，促進海洋經(jīng)濟的健康、可持續(xù)性發(fā)展，需要獲得大量的海洋數(shù)據(jù)。在“數(shù)字海洋”及國家海洋公益項目建設(shè)成果基礎(chǔ)上，海洋信息化水平有了長足的發(fā)展，涉及到海洋物理、海洋生物、海洋化學、海洋氣象、海洋經(jīng)濟、海岸帶等多個研究領(lǐng)域。然而，不同領(lǐng)域數(shù)據(jù)采集的方法與設(shè)備各異，并且數(shù)據(jù)存儲與處理也形式多樣，主要體現(xiàn)在：（１）海洋數(shù)據(jù)格式多樣，存在很多海洋行業(yè)專業(yè)文件格式標準；（２）不同海洋觀測平臺的觀測設(shè)備、通信協(xié)議、數(shù)據(jù)質(zhì)控及預(yù)處理方法各不相同；（３）用戶需求的復雜多樣性，包括海洋數(shù)據(jù)管理、海洋業(yè)務(wù)管理、海洋科學研究及海洋管理決策等；（４）已有各類海洋信息應(yīng)用系統(tǒng)存在異構(gòu)性：在國家海洋局等相關(guān)涉海業(yè)務(wù)部門，已經(jīng)存在多個海洋數(shù)據(jù)管理及業(yè)務(wù)應(yīng)用信息系統(tǒng)，這些系統(tǒng)面向不同業(yè)務(wù)，各自相對獨立、結(jié)構(gòu)各異，互操作困難。面對復雜時空網(wǎng)絡(luò)環(huán)境下的海洋大數(shù)據(jù)，需要分析大數(shù)據(jù)處理所面對的挑戰(zhàn)，解決大數(shù)據(jù)智能分析與挖掘面臨的關(guān)鍵科學與工程問題，為復雜多變的信息資源服務(wù)需求提供新思路和方法依據(jù)。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)采集、處理和元數(shù)據(jù)管理方法，利用開源地理信息系統(tǒng)框架GeoNetwork對元數(shù)據(jù)進行管理。在使用Java程序獲得海洋網(wǎng)站的數(shù)據(jù)后，對數(shù)據(jù)進行解析、存儲至FTP并生成對應(yīng)的、符合ISO19139標準的XML元數(shù)據(jù)描述文件。使用用戶認證Credentials后臺登陸管理員賬戶和XML元數(shù)據(jù)插入方法完成元數(shù)據(jù)的管理，當用戶在GeoNetwork框架中查詢元數(shù)據(jù)并獲得其XML描述文件之后，系統(tǒng)通過解析XML文件在FTP服務(wù)器查詢數(shù)據(jù)并返回給用戶。本發(fā)明主要解決大數(shù)據(jù)智能分析與挖掘面臨的關(guān)鍵科學與工程問題，為復雜多變的信息資源服務(wù)需求提供新思路和方法依據(jù)。

附圖說明

圖1為本發(fā)明的網(wǎng)絡(luò)模型圖。

圖2為本發(fā)明中GeoNetwork的結(jié)構(gòu)示意圖。

具體實施方式

在此給出一個實施例，便于詳細了解本發(fā)明的技術(shù)方案。如圖1所示，展示了整個系統(tǒng)的數(shù)據(jù)采集、處理和元數(shù)據(jù)存儲、查詢過程。數(shù)據(jù)下載模塊對原始數(shù)據(jù)進行采集，為數(shù)據(jù)解析模塊提供有效的原數(shù)據(jù)；數(shù)據(jù)解析模塊對原始數(shù)據(jù)進行切分并生成符合ISO19139標準的XML元數(shù)據(jù)描述文件；數(shù)據(jù)存儲模塊將XML插入GeoNetwork模塊中生成元數(shù)據(jù)，將數(shù)據(jù)插入mysql進行持久化存儲；數(shù)據(jù)查詢模塊讀入用戶查詢到的元數(shù)據(jù)描述XML，分析XML屬性生成sql語句對mysql進行查詢得到數(shù)據(jù)，最后返回給用戶。

主要的步驟如下：

（1）從海洋網(wǎng)站（如ftp.nodc.noaa.gov）上獲取原始數(shù)據(jù)，使用對應(yīng)文件格式的java API進行解析。

（2）根據(jù)所得到的數(shù)據(jù)的相關(guān)信息（如經(jīng)緯度等），生成符合ISO19139標準的XML元數(shù)據(jù)描述文件。所述XML元數(shù)據(jù)描述文件的生成方法已有公開，本發(fā)明在此給出一個優(yōu)選的方案，主要包括：分析ISO19139標準得到其樹結(jié)構(gòu)，生成XML標準文件，得到數(shù)據(jù)的相關(guān)信息（如經(jīng)緯度，數(shù)據(jù)來源），根據(jù)XML標準文件生成指定數(shù)據(jù)的元數(shù)據(jù)。

（3）將XML文件插入GeoNetwork框架中完成對元數(shù)據(jù)的存儲。GeoNetwork元數(shù)據(jù)存儲方法已有公開，本發(fā)明在此給出一個優(yōu)選的方案，主要包括：使用用戶認證Credentials后臺登陸管理員賬戶，得到返回結(jié)果以完成登陸；使用GeoNetwork的XML元數(shù)據(jù)插入方法完成元數(shù)據(jù)存儲。

（4）將元數(shù)據(jù)對應(yīng)的數(shù)據(jù)存入FTP服務(wù)器中進行持久化存儲。

（5）GeoNetwork根據(jù)請求返回元數(shù)據(jù)查詢結(jié)果。

（6）系統(tǒng)對元數(shù)據(jù)對應(yīng)的數(shù)據(jù)進行FTP服務(wù)器查詢并返回結(jié)果。