[發明專利]數據治理方法及裝置

在審

• 申請號: 201910828600.X
• 申請日: 2019-09-03
• 公開（公告）號: CN110569236A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 張毅然
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22
• 代理公司: 11240 北京康信知識產權代理有限責任公司
• 代理人: 劉旺貴

本發明提供了一種數據治理方法，包括：對數據治理過程中的原始表的字段進行映射處理生成中間表；將所述中間表的字段按照預先綁定的規則進行規則轉換生成標準表。在本發明中，在進行標準表處理的時，先不考慮原始表的構成，而是先在標準表的字段上，進行一定會執行的規則的綁定，然后進行原始表對于標準表的映射，從而自動執行所綁定的規則的轉換。從而可以大大減少數據治理過程中人工進行規則轉換的工作量，提高了數據治理的效率。

技術領域

本發明涉及基于結構化的數據治理領域，具體而言，涉及一種數據治理方法及裝置。

背景技術

基于結構化數據的數據治理場景是一種特定的技術場景。其主要表現可以簡單地展開為四步：輸入原始數據、對原始數據進行治理、治理后的數據融合和輸出結果數據。

對原始數據進行治理的過程可以簡單地理解為通過對原始數據進行映射和標準化，最終變成目標數據的過程。

映射：目標數據和原始數據的表結構通常是不同的。這是因為目標數據具有特定的業務要求，它所包含的字段通常在最初就已經被業務所決定，因此需要把原始數據的每一個字段，映射到目標數據的對應字段上，若無法映射的則丟棄。

標準化：標準化的過程，則是指把不規范的字段，通過“規則”進行規范化。

經過映射和標準化這兩個步驟后，產生規范和結構固定的目標數據。

但是，對于現有的原始數據治理方式，在原始數據和目標數據為1對1映射(即，一個原始數據表只產生一個目標數據表)的時候，該方式是可行的。但是，在實際的場景中，原始數據和目標數據通常是多對多映射的，例如，當多個原始數據表對應到一個目標數據表時，需要進行映射和規則轉換的工作量就會根據原始表數據表的數量而大幅增加，從而造成巨大的時間和資源浪費。

發明內容

本發明實施例提供了一種數據治理方法及裝置，以至少解決相關技術中在對原始數據進行數據治理的過程中，需要進行映射和規則轉換的工作量會基于原始表的數量而大幅增加，從而造成巨大的時間和資源浪費的問題。

根據本發明的一個實施例，提供了一種數據治理方法，包括：對數據治理過程中的原始表的字段進行映射處理生成中間表；將所述中間表的字段按照預先綁定的規則進行規則轉換生成標準表。

優選地，在對數據治理過程中的原始表的字段進行映射處理生成中間表之前，還包括：在所述標準表的字段上綁定定會執行的所述規則。

優選地，所述原始表為多個，對數據治理過程中的原始表的字段進行映射處理生成中間表包括：將所述多個原始表中的每個原始表的字段進行映射處理生成多個中間表。

優選地，將所述中間表的字段按照預先綁定的規則進行規則轉換生成標準表包括：所述每個中間表均自動按照預先綁定的規則進行規則轉換生成所述標準表。

根據本發明的另一個實施例，提供了一種數據治理裝置，包括：映射處理模塊，用于對數據治理過程中的原始表的字段進行映射處理生成中間表；規則轉換模塊，用于將所述中間表的字段按照預先綁定的規則進行規則轉換生成標準表。

優選地，所述裝置還包括：規則綁定模塊，用于在所述標準表的字段上預先綁定定會執行的所述規則。

優選地，所述原始表為多個，所述映射處理模塊包括：映射單元，用于將所述多個原始表中的每個原始表的字段進行映射處理生成多個中間表。

優選地，所述規則轉換模塊包括：轉換單元，用于將所述每個中間表按照預先綁定的規則進行規則轉換生成所述標準表。

根據本發明的又一個實施例，還提供了一種存儲介質，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行上述任一項方法實施例中的步驟。