[發明專利]一種分布式的大數據規劃方法

在審

• 申請號: 201510970695.0
• 申請日: 2015-12-22
• 公開（公告）號: CN105589958A
• 公開（公告）日: 2016-05-18
• 發明（設計）人: 于曉晨;邵兵;楊通
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 羅文曌

技術領域

本發明涉及信息化建設領域，具體地說是一種分布式的大數據規劃方法。

背景技術

隨著行業應用系統的發展，各種信息系統應用數據快速增長，企業的信息化建設 已逐步進入了大數據時代。當前業界大數據信息化建設前期突出的問題反映在以下幾個方 面：

a)數據分散在各個業務系統中,無法對其進行綜合利用。

b)數據來源不清楚，無法與其業務系統對應，導致數據來源混亂，版本眾多。

c)數據量的大小無法準確計算，影響存儲資源規劃。

d)數據源的結構、格式、關系的復雜多樣性，無法為數據采集提供科學的指導和支 持。

e)數據擁有人不清晰，數據擁有者不能及時按業務要求提供正確的數據，導致數 據無法準確追溯。

f)數據定義的分歧，對相同業務的不同解釋與定義。

g)研究方向多樣性，對數據的要求較高，數據梳理不清晰，影響分析結果的準確 性。

h)數據管理混亂，導致數據冗余存儲，增加不必要的存儲采購負擔。

發明內容

本發明的技術任務是針對上述現有技術的不足，提供一種分布式的大數據規劃方 法。

本發明的技術任務是按以下方式實現的：一種分布式的大數據規劃方法，其特點 是包括以下步驟：

一、規劃目標

制定總體規劃目標和總體需求，從全局角度明確工作任務，并對總體規劃進行初步研 究分解，之后將任務下發至各需求提供方、使用總體以及技術總體，進行下一步工作；

二、邊界劃分

包括業務邊界劃分、數據邊界劃

業務邊界劃分：針對具體的業務應用目標進行需求的統一管理，提供業務邊界劃分模 板，業務邊界劃分完成后可以從中抽取相應信息作為生成數據應用需求方案的源材料；

數據邊界劃分：根據業務邊界梳理其需要的數據來源以及梳理已有數據挖掘成果和方 法，提供數據邊界模板對數據源進行描述；

三、數據標準規劃

包括建立數據標準中心和建立數據遷移中心

建立數據標準中心，以保證各業務功能在數據使用上的一致性，對源數據在數據中心 的存儲制定一個標準，將同類的源數據進行歸一化處理的方案，為數據抽取到數據中心提 供數據對應標準；

建立數據遷移中心，以確定數據標準表的數據如何初始化以及如何對數據標準表中的 數據進行增量導入；

四、評估分析

依據自身需求，各使用主體對數據規劃成果進行評估分析。

進一步的，步驟二中進行業務邊界劃分時，按照研究背景、研究目標、研究內容、應 用方向進行梳理。可以達到研究方向明確、業務邊界合理，同時避免口頭多次交流造成資源 浪費；為了保證系統靈活性，用戶也可制作模板并導入，適應自身業務。

步驟二中進行數據邊界劃分時，提供數據邊界模板對數據源進行描述，所述數據 邊界模板包括單位、數據類型、數據來源、當前數據量及數據產生速率等條目，用戶也可自 定義模板進行數據邊界劃分。

步驟三中建立數據標準中心的方法優選為：

(一)制定數據標準：數據標準的制定依賴于同類表的表結構，具體步驟為：

a)選取同類數據表，獲得到每個表的表結構；

b)分析表結構中相同字段，選做數據中心的字段；

c)對于表結構中不同的字段進行分析，找出其共同意義生成新的字段；

d)對于業務支撐沒有意義的字段可以暫時拋棄，后期如果需要生成新的字段，可以在 數據中心中進行添加；

（二）配置數據關系：對于數據中心和源數據表之間存在何種關系需要在兩者之間做一 個數據字段的映射，以便實現對數據標準中心字段的來源進行追溯；

（三）建立數據主題：數據主題是依據具體業務，將數據分為各種主題類。

建立數據主題時優選包括以下分類方式：

a、按照數據產生方式分類：根據不同產生方式，數據可歸為三大類：基礎數據、衍生數 據、公共代碼類數據，其中，基礎數據由系統生成或直接錄入，衍生類數據由基礎數據通過 轉換和計算產生，公共代碼類數據是通用的共享代碼，是特殊的基礎數據；

b、按照數據模型分類：按主題對數據分類，每個信息類包含有一個或多個信息子類，以 所述類為依據，確認相應類別的認責部門。