[發明專利]一種大數據資產管理系統

在審

• 申請號: 201710400973.8
• 申請日: 2017-05-31
• 公開（公告）號: CN107145599A
• 公開（公告）日: 2017-09-08
• 發明（設計）人: 昌化
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/06
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及大數據技術領域，特別是涉及一種大數據資產管理系統。

背景技術

互聯網的飛速發展催生了信息爆炸時代提前到來，電信行業、政府部門、金融領域、零售業和物流領域等產生的數據浩如煙海。在大數據領域，像hadoop、spark、storm等這些炙手可熱的新技術或是各種高級分析算法都是在數據得到有效治的基礎上才能發揮其作用。

數據資產管理(Data asset management，DAM)是規劃、控制和提供數據及信息資產的一組業務職能，包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序，從而控制、保護、交付和提高數據資產的價值。對于一個大數據中心來說，最大的成本浪費并非是昂貴的設備，高精尖的數據人才，而是在錯誤的數據基礎上，做了復雜的數據分析統計等工作。如果連數據前提都是錯的，那任何投入都沒有價值，成本將會永無上限。現有技術中，偏重與對數據的采集、清洗和分析，缺乏對數據的有效管理，導致結構化、內外部數據混搭，數據的可靠性得不到保證。

可見，如何提升數據資產管理的可靠性，是本領域技術人員亟待解決的問題。

發明內容

本發明實施例的目的是提供一種大數據資產管理系統，可以提升數據資產管理的可靠性。

為解決上述技術問題，本發明實施例提供一種大數據資產管理系統，包括第一交換機、結構化數據處理器、非結構化數據處理器和應用服務器，

所述第一交換機與所述應用服務器連接，用于獲取外部數據，對所述外部數據進行處理，并將處理后的外部數據發送至所述應用服務器；所述外部數據包括結構化數據和非結構化數據；

所述應用服務器，用于接收處理后的所述外部數據，并依據用戶輸入的信息，向所述結構化處理器或所述非結構化處理器發送相關的數據分析指令；

所述結構化處理器，用于依據接收到的所述數據分析指令，對所述結構化數據進行存儲、計算，并將計算結果發送至所述應用服務器；

所述非結構化處理器，用于依據接收到的所述數據分析指令，對所述非結構化數據進行存儲、計算，并將計算結果發送至所述應用服務器。

可選的，還包括配置庫，

所述應用服務器與所述配置庫連接，還用于對處理后的所述外部數據進行分析，獲取對應的元數據和元數據規則，并將所述元數據以及所述元數據規則發送至所述配置庫；

所述配置庫，用于接收并存儲所述元數據以及所述元數據規則。

可選的，所述應用服務器還用于統計所述元數據的使用頻率，當所述元數據的使用頻率低于預設閾值，則將所述元數據從所述配置庫中刪除。

可選的，還包括第二交換機和管理機，

所述第二交換機與所述管理機連接，用于獲取內部數據，并將所述內部數據發送至所述管理機；

所述管理機，用于對所述內部數據進行分析，當所述內部數據不符合預設條件時，則進行報警提示。

可選的，所述第一交換機為萬兆交換機。

可選的，所述第二交換機為千兆交換機。

可選的，所述結構化數據處理器采用分布式MYSQL系統。

可選的，所述非結構化數據處理器采用HBASE系統。

由上述技術方案可以看出，通過第一交換機可以獲取到外部數據，第一交換機與應用服務器連接，可以將處理后的外部數據發送至所述應用服務器，其中，外部數據可以劃分為結構化數據和非結構化數據。應用服務器可以依據用戶輸入的信息，向結構化處理器或非結構化處理器發送相關的數據分析指令；結構化處理器可以依據接收到的所述數據分析指令，對所述結構化數據進行存儲、計算，并將計算結果發送至所述應用服務器；非結構化處理器可以依據接收到的所述數據分析指令，對所述非結構化數據進行存儲、計算，并將計算結果發送至所述應用服務器。可見，通過該技術方案可以對結構化和非結構化數據分類處理，提升了數據資產管理的可靠性。

附圖說明

為了更清楚地說明本發明實施例，下面將對實施例中所需要使用的附圖做簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例提供的一種大數據資產管理系統的結構示意圖；

圖2為本發明實施例提供的一種大數據資產管理系統的架構圖。

具體實施方式