[發明專利]一種基于大數據的數據治理方法和系統

在審

• 申請號: 202110796113.7
• 申請日: 2021-07-14
• 公開（公告）號: CN113535698A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 宋寧寧;王曉軍;劉增友
• 申請（專利權）人: 山東木丁信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 濟南鼎信專利商標代理事務所(普通合伙) 37245
• 代理人: 李雙

1.一種基于大數據的數據治理方法，其特征在于，所述方法包括：

獲取數據錄入端上傳的初始數據；

按照數據錄入標準對初始數據的質量進行質檢；

根據質檢結果對每一個數據錄入端進行數據質量評分；

根據數據質量評分對每一個數據錄入端進行績效考核。

2.如權利要求1所述的基于大數據的數據治理方法，其特征在于，所述按照數據錄入標準對初始數據的質量進行質檢具體包括：

將初始數據樣式與數據錄入標準樣式進行一一對比，判斷初始數據樣式是否符合數據錄入標準樣式；

當初始數據樣式不符合數據錄入標準樣式時，向數據錄入端反饋數據質量問題，并督促數據錄入端的使用者及時整改問題；

當初始數據樣式符合數據錄入標準樣式時，對初始數據進行保存。

3.如權利要求2所述的基于大數據的數據治理方法，其特征在于，所述將初始數據樣式與數據錄入標準樣式進行一一對比，判斷初始數據樣式是否符合數據錄入標準樣式具體包括：

根據數據錄入標準樣式中必要數據所在位置質檢初始數據樣式的相應位置，判斷初始數據樣式中必要數據所在位置處是否存在數據；

當初始數據樣式中必要數據所在位置處不存在數據，說明初始數據在形式上不符合要求，直接將該初始數據進行刪除，并向數據錄入端反饋數據質量問題，并督促數據錄入端的使用者及時整改問題；

當初始數據樣式中必要數據所在位置處存在數據，說明初始數據在形式上符合要求，并判斷必要數據的大小是否在設定值域內；

當必要數據的大小不在設定值域內時，說明初始數據的數值不符合要求，直接將該初始數據的問題反饋給數據錄入端，并督促數據錄入端的使用者及時整改問題；

當必要數據的大小在設定值域內時，說明初始數據中的必要數據錄入正確，對初始數據進行保存。

4.如權利要求2所述的基于大數據的數據治理方法，其特征在于，所述將初始數據樣式與數據錄入標準樣式進行一一對比，判斷初始數據樣式是否符合數據錄入標準樣式具體包括：

根據數據錄入標準樣式中非必要數據所在位置質檢初始數據樣式的相應位置，判斷初始數據樣式中非必要數據所在位置處是否存在數據；

當初始數據樣式中非必要數據所在位置處存在數據時，非必要數據核對一致后，說明初始數據錄入正確，對初始數據進行保存；

當初始數據樣式中非必要數據所在位置處不存在數據時，自動拾取非必要數據填入初始數據樣式中非必要數據應在的位置處。

5.如權利要求2-4任一所述的基于大數據的數據治理方法，其特征在于，所述對初始數據進行保存具體包括：

提取所有初始數據中字段相同的部分形成初始數據模板；

將所有初始數據中字段不同的部分按照固定格式保存，形成儲存數據；

在調用儲存數據的時候，自動將儲存數據填入到初始數據模板中，恢復數據屬性。

6.如權利要求1所述的基于大數據的數據治理方法，其特征在于，所述根據質檢結果對每一個數據錄入端進行數據質量評分具體包括：

當質檢結果顯示初始數據在形式上不符合要求，對該數據錄入端計一次差評評分；

當質檢結果顯示初始數據的數值不符合要求，對該數據錄入端計一次差評評分；

當質檢結果顯示初始數據中的必要數據錄入正確，對該數據錄入端計一次好評評分；

當質檢結果顯示初始數據錄入正確，對該數據錄入端兩次好評評分；

所述差評評分和好評評分可以用具體的數據來代替或者用具體的圖案來代替，并將每一次的評分反饋給數據錄入端。

7.如權利要求6所述的基于大數據的數據治理方法，其特征在于，所述根據數據質量評分對每一個數據錄入端進行績效考核具體包括：

累計同一個數據錄入端的好評評分數和差評評分數；

將好評評分數減去差評評分數，得到評分差值；

根據評分差值和上傳數據的次數得出每次上傳數據的平均差值；

根據平均差值的大小將所有數據錄入端進行排序，其中平均差值大的數據錄入端排名靠前，根據排序的先后給出相應的績效考核成績。

8.一種基于大數據的數據治理系統，其特征在于，所述系統包括：

初始數據獲取模塊，用于獲取數據錄入端上傳的初始數據；

質檢模塊，用于按照數據錄入標準對初始數據的質量進行質檢；

評分模塊，用于根據質檢結果對每一個數據錄入端進行數據質量評分；

考核模塊，用于根據數據質量評分對每一個數據錄入端進行績效考核。