[發明專利]數據質量的處理方法及系統

無效

• 申請號: 200810246671.0
• 申請日: 2008-12-29
• 公開（公告）號: CN101477653A
• 公開（公告）日: 2009-07-08
• 發明（設計）人: 孫繼綱;孫鵬;周訓波
• 申請（專利權）人: 大唐軟件技術股份有限公司
• 主分類號: G06Q10/00
• 分類號: G06Q10/00;G06F17/30
• 代理公司: 北京信遠達知識產權代理事務所（普通合伙）
• 代理人: 王學強

技術領域

本發明涉及數據庫技術領域，特別涉及一種數據質量的處理方法及系統。

背景技術

隨著信息化建設的普及，越來越多的企業通過計算機平臺，也就是通常所說的信息管理系統對企業信息進行管理，信息管理系統是對數據進行生產和加工的系統。由于信息管理系統自身的缺陷，或者操作人員的失誤，或者系統遺留數據的缺陷，容易導致被管理的數據出現錯誤、缺失、甚至不一致的情況。對于如電信類企業的大型企業，通常需要涉及不同領域的信息化建設，如CRM(Customer?RelationshipManagement，客戶關系管理)系統、計費系統等。這些不同領域的信息管理系統之間的數據更容易出現不一致的問題，特別當不同領域的信息管理系統由不同的軟件廠家單位進行建設時，問題更加突出。

信息管理系統最重要的任務就是對企業數據進行管理，而管理過程通過對數據的處理實現。現有技術中，通常采用發現和修正的模式對數據進行管理，例如，通過人工方式，或者預先編制的小程序/小腳本發現問題，然后將問題提交到生產系統進行修正。發明人在對現有技術的研究過程中發現，現有技術通常發現一個問題，解決一個問題，這種處理方式忽略了數據生產過程的穩定性和質量，難以找出問題的根源；整個數據處理過程依賴于人工操作，缺乏對數據的系統管理，自動化管理程度不高。

發明內容

本發明實施例提供一種數據質量的處理方法和系統，解決現有技術中數據自動化管理程度不高的問題。

為解決上述問題，本發明實施例提供如下技術方案：

一種數據質量的處理方法，包括：

根據預先設置的數據質量問題域和數據質量規則域建立所述數據的管理流程；

通過執行所述管理流程對所述數據進行自動處理，并獲得所述數據的處理結果。

還包括：預先設置數據質量問題域和數據質量規則域，具體包括：

分析數據的質量特點；

根據所述分析結果獲得所述數據的數據質量問題域；

分別生成對應每個數據質量問題域的數據質量規則域。

所述數據質量問題域具體為按照已發生數據的問題的類型生成的問題域；

所述數據質量規則域具體為根據所述問題生成的解決與適應關系，包括：針對所述問題的解域算法規則、質量管理處理規則、統計分析規則。

所述數據質量管理流程包括：數據定義流程、數據測量流程、數據分析流程、數據改進流程、數據控制流程。

所述執行所述數據定義流程包括：

對所述數據進行數據提供方、數據輸入、數據處理、數據輸出、數據用戶的SIPOC分析；

根據所述SIPOC分析的結果獲得數據的多個質量參數CTQ。

所述執行所述數據測量流程包括：

確定所述多個CTQ的可操作性定義；

根據所述可操作性定義分別為每個CTQ收集測量數據；

通過所述測量數據獲得所述每個CTQ的性能數據和測量過程能力數據；

保存所述測量數據、性能數據和能力數據。

所述執行所述數據分析流程包括：

確定與每個所述CTQ相關的風險變量，以及所述風險變量的可操作性定義；

測量所述風險變量，建立所述每個風險變量的過程能力基線；

通過監測控制圖分析所述過程能力基線，得到所述能力基線的偏差值；

根據所述偏差值獲得所述風險變量對所述CTQ的影響程度。

所述執行所述數據改進流程包括：

獲取所述偏差值大于預設閾值的風險變量；

反饋所述風險變量；

根據所述偏差值調整所述風險變量直至所述風險變量的能力基線的偏差值小于所述閾值。

所述執行所述數據控制流程包括：

分析所述偏差值大于預設閾值的風險變量；

根據所述分析的結果為所述風險變量建立改進策略；

通過所述改進策略監控所述風險變量和所述CTQ的穩定性。

所述方法還包括：根據所述獲得數據的處理結果更新預先設置的數據質量問題域和數據質量規則域。

一種數據質量的處理系統，包括：

建立單元，用于根據預先設置的數據質量問題域和數據質量規則域建立所述數據的管理流程；

處理單元，用于通過執行所述管理流程對所述數據進行自動處理，并獲得所述數據的處理結果。

還包括：預設單元，用于預先設置數據質量問題域和數據質量規則域。

所述預設單元包括：

數據分析單元，用于分析數據的質量特點；

問題域獲得單元，用于根據所述分析結果獲得所述數據的數據質量問題域；