[發明專利]一種國際三極數據互操作引擎系統的構建方法及使用方法

在審

• 申請號: 201811380457.4
• 申請日: 2018-11-20
• 公開（公告）號: CN109543087A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 鐘運琴;宋永浩;郭彩玲;楊參;傅文學;邱玉寶
• 申請（專利權）人: 北京愛思沃國際數據科技有限公司;中國科學院大學;鐘運琴
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/28;G06F16/23;G06F16/22;G06F16/29;G06F16/248;G06F16/182
• 代理公司: 北京天江律師事務所 11537
• 代理人: 任崇

1.一種國際三極數據互操作引擎系統的構建方法，其特征在于：所述構建方法包括如下步驟：

步驟一、實時自動爬取國際三極站點的國際三級數據，國際三級數據包括國際三極站點的原始數據以及國際三極站點的更新數據、新增數據；

步驟二、對步驟一所獲取到的國際三級站點的國際三極數據進行存儲與管理；

步驟三、設計國際三極數據的共享互操作標準，連接不同結構類型的國際三極數據；

步驟四、對國際三極數據進行互操作特征處理，構建國際三極數據互操作引擎系統。

2.根據權利要求1所述的國際三極數據互操作引擎系統的構建方法，其特征在于：步驟一中國際三極數據站點原始數據、更新數據、新增數據的自動發現與爬取過程為：

1)人工收集國際三極數據的站點集合，爬取國際三極數據站點原始數據；

2)國際三極站點更新數據的檢測：通過python腳本對不同的國際站點定時提取其數據更新的特征，反饋檢測的國際站點是否有數據發生更新；

3)國際三極站點新增數據的檢測：通過python腳本對不同的國際數據站點定時提取其數據組織結構特征，反饋檢測的國際站點是否有新增數據；

4)觸發分布式爬蟲去抓取數據和元數據：若步驟2)檢測到國際站點中存在數據更新或步驟3)中檢測到國際站點中存在新增數據，則觸發分布式python腳本，完成對更新數據、新增數據以及元數據下載；其中，元數據是通過自動抽取轉換獲得的；

5)基于模型的數據質量檢測和爬取：基于數據模型，對步驟1)和步驟4)中獲得的全部數據進行質量檢測；

7)國際三極數據python腳本的修正：針對國際三極數據的更新情況，及時修正python腳本。

3.根據權利要求1所述的國際三極數據互操作引擎系統的構建方法，其特征在于：步驟二中國際三極數據的存儲與管理的過程為：

1)獲取步驟一所得到的國際三極站點的國際三極數據；

2)國際三極數據的標準化處理：國際三極站點的國際三級數據不是標準統一的，針對不同的國際三極數據分別進行解析并完成標準統一工作；

3)國際三極數據的分類并存儲：標準統一后的國際三極數據分類為元數據、原始數據、分析結果數據和統計數據四類，元數據采用GeoHash算法進行存儲，原始數據主要采用對象-關系型數據庫管理系統進行存儲，分析結果數據、統計數據均采用對象-關系型數據庫管理系統進行存儲；

4)國際三極數據的備份：國際三極數據的備份包括數據實體備份和數據庫備份，數據實體備份采用Hadoop分布式文件系統，數據庫備份采用增量備份加完整備份的方式。

4.根據權利要求1所述的國際三極數據互操作引擎系統的構建方法，其特征在于：步驟三中國際三極數據共享互操作標準的設計過程為：

1)構建國際三極數據的本體庫：通過定義國際三極數據本體描述的統一表達以及本體數據結構，形成面向國際三極數據領域的本體庫；

2)定義互操作語義和模型：基于上述國際三極數據的本體庫，將系統支持的國際互操作協議進行封裝和轉解碼；

3)國際三極數據互操作接入；

4)國際三級數據備份。

5.根據權利要求1所述的國際三極數據互操作引擎系統，其特征在于：步驟四中所述國際三極數據的互操作特征處理過程為：

1)國際三極數據的預處理：對國際三極數據進行抽取轉換加載操作，使其轉換成計算機程序能夠處理的格式；

2)對預處理后的國際三極數據進行互操作特征處理，包括數值型特征處理、文本類型特征處理、地圖類數據特征處理；

3)構建國際三極數據互操作算法庫：以spark計算引擎本身包含的MLlib分布式機器學習算法庫為基礎，將上述互操作特征處理后的國際三級數據構建為適用于三極數據分析的國際三極數據互操作引擎系統。