[發明專利]一種海量數據高效抽取平臺

在審

• 申請號: 201711180906.6
• 申請日: 2017-11-23
• 公開（公告）號: CN107967319A
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 石文威
• 申請（專利權）人: 安徽科創智慧知識產權服務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及大數據領域，具體涉及一種海量數據高效抽取平臺。

背景技術

數據發展歷程上出現過類似的術語有超大規模數據、海量數據等。“超大規模”一般表示對應GB(1GB＝1024MB)的數據，“海量”一般表示的是TB(1TB＝1024GB)級的數據，而現在的“大數據”則是PB(1PB＝1024TB)、EB(1EB＝1024PB)、甚至ZB(1ZB＝1024EB)級別以上的數據。2013年Gartner預測世界上存儲的數據將達到1.2ZB，如果將這些數據刻錄到 CD-R只讀光盤上，并堆起來，其高度將是地球到月球距離的5倍。不同規模的背后隱含的是不同的技術問題或挑戰性研究難題。

大數據(big data)，指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。在日新月異的IT業界，各個企業對大數據都有著自己不同的解讀.但大家都普遍認為，大數據有著4“V”特征，即Volume(容量大)、Variety(種類多)、Velocity(速度快)和最重要的Value(價值密度低)：

(1)量大(Volume Big)。數據量級已從TB(210GB)發展至PB(210TB)乃至ZB(220PB)，可稱海量、巨量乃至超量。

(2)多樣化(Variable Type)。數據類型繁多，愈來愈多為網頁、圖片、視頻、圖像與位置信息等半結構化和非結構化數據信息。

(3)快速化(Velocity Fast)。數據流往往為高速實時數據流，而且往往需要快速、持續的實時處理；處理工具亦在快速演進，軟件工程及人工智能等均可能介入。

(4)價值高和密度低(Value Highand Low Density)。以視頻安全監控為例，連續不斷的監控流中，有重大價值者可能僅為一兩秒的數據流；360°全方位視頻監控的“死角”處，可能會挖掘出最有價值的圖像信息。

(5)復查Complexity：處理和分析的難度非常大。

現有技術中的數據抽取對數據系統資源的占用較大。

發明內容

本發明所要解決的技術問題是現有技術中的數據抽取對數據系統資源的占用較大，目的在于提供一種海量數據高效抽取平臺，實現對數據源系統資源占用的最小化。

本發明通過下述技術方案實現：

一種海量數據高效抽取平臺，包括Oracle數據庫、Golden Gate、大數據平臺、Tomcat 網頁服務端，Golden Gate包括Trail File和Flat File，所述Trail File與Flat File鏈接，所述大數據平臺包括MapReduce、Hbase、HDFS，所述MapReduce、Hbase、HDFS分別與Trail File 和Flat File進行信息交互，所述Golden Gate和大數據平臺分別與Tomcat網頁服務端進行信息交互；Oracle數據庫為數據源，通過Golden Gate提取源數據并結合Tomcat網頁服務端作為計算引擎，Hbase用于存儲結構化數據。

進一步地，Oracle數據庫、Golden Gate、大數據平臺、Tomcat網頁服務端采用的是分布式文件系統存儲非結構化和半結構化的數據。

進一步地，所述大數據平臺包括數據清洗模塊、數據轉換模塊、數據存儲模塊。

基于一種海量數據高效抽取平臺的一種海量數據高效抽取方法，包括，

步驟1，使用Golden Gate提取數據；利用Golden Gate解析Oracle的日志文件，提取出初始數據及發生變化的增量數據；

步驟2，用MapReduce并行計算引擎加快處理速度；使用Hadoop大數據平臺的MapReduce 并行計算框架，來加速裝載抽取出的數據；

步驟3，將數據裝載進HBase；采用多節點并行寫入，直接生成HBase數據的存儲格式文件。

步驟3中采取批量導入的方法來裝載數據。

步驟1中的增量數據包括插入數據、更新數據和刪除數據。