[發明專利]一種國際三極數據互操作引擎系統的構建方法及使用方法

在審

• 申請號: 201811380457.4
• 申請日: 2018-11-20
• 公開（公告）號: CN109543087A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 鐘運琴;宋永浩;郭彩玲;楊參;傅文學;邱玉寶
• 申請（專利權）人: 北京愛思沃國際數據科技有限公司;中國科學院大學;鐘運琴
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/28;G06F16/23;G06F16/22;G06F16/29;G06F16/248;G06F16/182
• 代理公司: 北京天江律師事務所 11537
• 代理人: 任崇

本發明公開了一種國際三極數據互操作引擎系統的構建方法及使用方法，構建方法包括如下步驟：實時自動獲取國際三極站點的國際三級數據；國際三極數據進行存儲與管理；設計國際三極數據的共享互操作標準，連接不同結構類型的國際三極數據；對國際三極數據進行互操作特征處理，構建國際三極數據互操作引擎系統。使用方法包括如下步驟：用戶輸入檢索配置及關鍵字；后臺啟動執行查詢的任務，并將后端得到的檢索結果進行可視化操作；在后臺執行查詢檢索的同時，后臺記錄用戶檢索條件；基于檢索結果，過濾數據；根據用戶需求，下載數據。本發明有效解決了地球三極地區的科學數據存在的數據分散、不成體系，數據眾多、缺乏共享的問題。

技術領域

本發明涉及構建方法及使用方法，尤其涉及一種國際三極數據互操作引擎系統的構建方法及使用方法。

背景技術

南極、北極和青藏高原作為地球上的三極，不僅蘊藏著全球主要的淡水資源，且油氣資源豐富，是全球資源、能源開發潛在的戰略性儲備區域，也對我國未來發展、國家利益和安全戰略具有十分特殊的重要意義。

科學認知，數據為先；善治極地，數據為先。國際上一些研究機構，一直以來對三極的科學觀測不遺余力，已經積累了大量的三極科學數據，并建立了相應的科學數據庫，如GEOSS門戶三極數據、CEOP AEGIS數據、SAON(北極可持續觀測網絡)北極數據委員會、IEEE南北極數據門戶、INTAROS、CAS NASA冰川融化工具門戶(GMELT)、日本極地中心、加拿大CCIN PDC極地數據編目中心、芬蘭北極觀測中心、PEEX數據庫，及INTERACT數據庫等。雖然三極地區科學數據日益呈現出大數據的特點，衛星和航空遙感、地面傳感網、多圈層模型與同化數據空前豐富，然而，地球三極地區的科學數據仍存在數據分散、不成體系，數據眾多、缺乏共享的問題。

此外，目前現有的數據管理技術一般跟存儲的業務數據特點緊密相關，從管理的數據類型上專注于結構化數據、半結構化數據、非結構化數據或者是幾種數據類型的組合，不具有通用性，數據互操作方案也不具有廣泛的通用性，對原始數據的價值分析尚處于萌芽階段，尚未形成一套完整的三極數據互操作引擎系統。

發明內容

為了解決上述技術所存在的不足之處，本發明提供了一種國際三極數據互操作引擎系統的構建方法及使用方法。

為了解決以上技術問題，本發明采用的技術方案是：一種國際三極數據互操作引擎系統的構建方法，包括如下步驟：

步驟一、實時自動爬取國際三極站點的國際三級數據，國際三級數據包括國際三極站點的原始數據以及國際三極站點的更新數據、新增數據；

步驟二、對步驟一所獲取到的國際三級站點的國際三極數據進行存儲與管理；

步驟三、設計國際三極數據的共享互操作標準，連接不同結構類型的國際三極數據；

步驟四、對國際三極數據進行互操作特征處理，構建國際三極數據互操作引擎系統。

進一步地，步驟一中國際三極數據站點原始數據、更新數據、新增數據的自動發現與爬取過程為：

1)人工收集國際三極數據的站點集合，爬取國際三極數據站點原始數據；

2)國際三極站點更新數據的檢測：通過python腳本對不同的國際站點定時提取其數據更新的特征，反饋檢測的國際站點是否有數據發生更新；

3)國際三極站點新增數據的檢測：通過python腳本對不同的國際數據站點定時提取其數據組織結構特征，反饋檢測的國際站點是否有新增數據；

4)觸發分布式爬蟲去抓取數據和元數據：若步驟2)檢測到國際站點中存在數據更新或步驟3)中檢測到國際站點中存在新增數據，則觸發分布式python腳本，完成對更新數據、新增數據以及元數據下載；其中，元數據是通過自動抽取轉換獲得的；