[發明專利]一種利用數據結構控制數據準備過程的方法

在審

• 申請號: 201710561459.2
• 申請日: 2017-07-11
• 公開（公告）號: CN107451206A
• 公開（公告）日: 2017-12-08
• 發明（設計）人: 賀俊華;傅玉生;王永波;鮮東
• 申請（專利權）人: 成都優易數據有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都弘毅天承知識產權代理有限公司51230
• 代理人: 徐金瓊,劉東

1.一種利用數據結構控制數據準備過程的方法，其特征在于，包括以下步驟：

S101，數據抽取流程：將數據源的數據文件，以數據接口的方式進行抽取，獲得源數據；獲取數據抽取流程中的配置信息，然后將數據抽取流程需要的配置信息進行結構化處理；

S102，數據概要分析流程：對步驟S101獲得的源數據進行概要分析，以保證源數據的合法性與合理性；并獲取數據概要分析流程中的配置信息，然后將數據概要分析流程的配置信息進行結構化處理；

S103，數據異常處理流程：對步驟S102概要分析后的數據進行異常處理，消除數據中的異常情況；獲取異常處理流程中的配置信息，然后將數據異常處理流程的配置信息進行結構化處理；

S104，數據清洗流程：對步驟S103異常處理后的數據進行清洗，以保證數據的有效性、提高數據質量；獲取數據清洗流程中的配置信息，然后將數據清洗流程的配置信息進行結構化處理；

S105，數據轉換流程：定義數據字段，將步驟S104中經過數據清洗后的數據按照已經定義好的數據字段進行轉換，獲得轉換后的數據字段；獲取數據轉換流程中的配置信息，然后將數據轉換流程的配置信息進行標準化處理；

S106，業務映射流程：將數據分析需要的業務指標、業務邏輯、運算過程映射到S105數據轉換完成后的數據字段上；

S107，數據準備輸出流程：定義數據準備輸出的結果數據、輸出配置信息，并對數據準備輸出的結果數據、輸出配置信息進行結構化處理；

S108，將S101，S102，S103，S104，S105，S106，S107流程的結構化配置信息封裝到數據結構中。

2.根據權利要求1所述的一種利用數據結構控制數據準備過程的方法，其特征在于，步驟S101中進行數據抽取時，不同的數據接口使用不同的抽取技術和接口方式。

3.根據權利要求1所述的一種利用數據結構控制數據準備過程的方法，其特征在于，步驟S102中數據概要分析的分析方法包括列分析、交叉列分析、表分析和交叉表分析四大類型，概要分析的具體的分析內容包括值域分析、基數分析、類型監測、數據分布、波動監測、異常值監測、功能相關性分析、主鍵唯一性分析、表基礎分析、外鍵分析和血緣分析。

4.根據權利要求1所述的一種利用數據結構控制數據準備過程的方法，其特征在于，步驟S103數據異常處理流程中的數據異常包括句法異常、語義異常和覆蓋異常，不同的數據異常類型進行相應的異常處理。

5.根據權利要求1所述的一種利用數據結構控制數據準備過程的方法，其特征在于，步驟S104中，數據清洗的內容包括數據審計、數據工作流規范、數據工作流執行和數據后加工與處理，數據清洗的方法包括數值修正、數據整形、數據邏輯優化和數據修復。

6.根據權利要求1所述的一種利用數據結構控制數據準備過程的方法，其特征在于，步驟S105中，數據轉換流程中包括數字到數字的轉換，語義變量到數字的轉換、命題邏輯轉換、離散化、二值化和粒度轉換。

7.根據權利要求1所述的一種利用數據結構控制數據準備過程的方法，其特征在于，業務映射包括全量映射、差量映射和無映射三種情況。

8.根據權利要求1所述的一種利用數據結構控制數據準備過程的方法，其特征在于，步驟108中，步驟S101，S102，S103，S104，S105，S106，S107流程的結構化配置信息均封裝到同一種數據結構中。