[發明專利]一種多源異構行業領域大數據處理全鏈路解決方案

在審

• 申請號: 201710376130.9
• 申請日: 2017-05-25
• 公開（公告）號: CN107193967A
• 公開（公告）日: 2017-09-22
• 發明（設計）人: 張瑩;羅永洪;楊志帆;史慧珂;宋珂慧;袁曉潔
• 申請（專利權）人: 南開大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 天津佳盟知識產權代理有限公司12002
• 代理人: 李益書

技術領域

本發明屬于大數據處理技術領域。具體涉及一種多源異構行業領域大數據處理全鏈路解決方案。

背景技術

隨著信息技術在各行業領域深入應用，行業領域大數據極速產生和積累，例如金融領域的交易數據、電信領域的網絡數據、交通運輸的交通流量數據、教育領域的學生行為數據等。行業領域大數據具有明顯的大數據特征，即所謂的4V特征屬性：海量性(Volume)、多樣性(Variety)、高速性(Velocity)、價值性(Value)。

這些數據規模龐大、種類繁多，但蘊含價值豐富，如果能從海量復雜數據中獲得知識，將能夠為各行業領域的活動提供智力支持，對人類的決策模式和社會經濟的運行模式產生深遠的影響。目前，在大數據的驅動下，各行各業都意識到迫切需要研究強大的大數據管理與處理平臺、有效的數據處理技術和智能的數據分析算法，用于支撐實時數據統計、數據分析、復雜數據挖掘等應用。但大數據由采集、集成、存儲、分析到產生價值，是一個復雜的過程。行業領域大數據的特征，為行業領域大數據管理與處理過程提出了諸多的挑戰與困難：

1)面對跨系統分布、數據形式多樣、結構各異的行業領域大數據，如何實現提出具有通用性的行業領域大數據處理流程？

2)面對數據量龐大、類型復雜，如何設計高效的數據存儲架構，以滿足實時快速的業務分析需求？

3)面對行業領域決策需求，如何構建多角度的數據分析模型，真正挖掘出大數據中蘊含的價值？

4)如何搭建全鏈路多源異構行業領域大數據處理平臺，將行業領域大數據處理流程、高效存儲架構、數據分析模型進行實踐？

綜上所述，信息爆炸時代的到來，大數據的研究價值非常巨大。隨著數據管理、數據挖掘、云計算等研究技術的快速發展，許多有效的數據集成、數據融合、數據存儲、分布式計算、數據分析技術紛紛涌現，為多源異構行業領域大數據處理的研究提供了理論基礎和技術支持。在此背景下，針對行業領域大數據特征，研究多源異構數據集成，研究多層級存儲架構，研究面向管理決策的多層次多維度數據分析，搭建全鏈路多源異構行業領域大數據處理平臺，具有重要的研究意義和應用價值。

發明內容

本發明的目的是解決如何管理規模龐大、種類繁多的行業領域大數據以及如何從其中獲取知識的問題，在理解行業領域大數據海量性、多樣性、快速性、價值性特點的基礎上，根據行業領域管理決策的應用需求，對多源異構領域大數據處理關鍵技術進行深入研究，包括數據清洗融合、數據存儲、深度分析等問題，設計并實現了多源異構行業領域大數據處理全鏈路解決方案。

本發明提供的多源異構行業領域大數據處理全鏈路解決方案詳細步驟包括：

第1、歸納行業領域大數據處理流程

總結現有的大數據處理平臺，在傳統大數據處理基本流程基礎上，結合行業領域大數據的可視性和真實性特點和領域應用需求，探索出面向行業領域大數據處理的最基本流程；

整個行業領域大數據的處理流程定義為，在不同的采集設備、工具和系統輔助下，對多個異構行業領域數據源進行抽取與集成，再根據數據的特點進行統一存儲，結合行業應用多角度需求，利用數據分析技術對存儲的數據進行分析和挖掘，獲取管理決策知識，并利用可視化分析方法將結果展示給用戶；行業領域大數據的處理流程可以劃分為數據抽取與集成模塊、數據存儲模塊、數據分析模塊和可視分析模塊。

(1)數據抽取與集成模塊

行業領域大數據的數據源多種多樣，例如通過設備實時采集的數據、不同用途的運營式系統產生的數據，要想處理大數據，首先要從不同數據源抽取所需的數據。由于數據來源廣泛、結構各異且數據間可能存在不一致，數據抽取后必須對異質多源數據進行數據集成，包括清洗臟數據、數據類型轉換等傳統數據清洗數據轉換方法，并針對領域大數據獨有的真實性特點，提供數據融合功能以解決數據沖突，從而保證數據的完整性、一致性和正確性，提高數據的質量。

(2)數據存儲模塊

大數據處理過程中，需要按照一定的標準對各類數據進行統一存儲管理。在行業領域大數據處理流程中，存在原始數據、數據清洗、融合、轉換生成的中間數據、數據分析及用于可視化展示的結果數據，它們的數據類型、數據規模、數據用途不盡相同。本發明考慮構建三層級行業領域數據統一存儲框架，以滿足不同層級不同規模不同用途數據存儲的需求。

(3)數據分析模塊