[發明專利]一種海量數據高效抽取平臺

在審

• 申請號: 201711180906.6
• 申請日: 2017-11-23
• 公開（公告）號: CN107967319A
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 石文威
• 申請（專利權）人: 安徽科創智慧知識產權服務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種海量數據高效抽取平臺，其特征在于，包括Oracle數據庫、Golden Gate、大數據平臺、Tomcat網頁服務端，Golden Gate包括Trail File和Flat File，所述Trail File與Flat File鏈接，所述大數據平臺包括MapReduce、Hbase、HDFS，所述MapReduce、Hbase、HDFS分別與Trail File和Flat File進行信息交互，所述Golden Gate和大數據平臺分別與Tomcat網頁服務端進行信息交互；Oracle數據庫為數據源，通過Golden Gate提取源數據并結合Tomcat網頁服務端作為計算引擎，Hbase用于存儲結構化數據。

2.根據權利要求1所述的一種海量數據高效抽取平臺，其特征在于，所述Oracle數據庫、Golden Gate、大數據平臺、Tomcat網頁服務端采用的是分布式文件系統存儲非結構化和半結構化的數據。

3.根據權利要求1所述的一種海量數據高效抽取平臺，其特征在于，所述大數據平臺包括數據清洗模塊、數據轉換模塊、數據存儲模塊。