[發明專利]一種基于數據元智能匹配的數據質量檢測方法

在審

• 申請號: 202110238363.9
• 申請日: 2021-03-04
• 公開（公告）號: CN112948365A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 孫延慶
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F40/289;G06Q10/06;G06Q50/26
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種基于數據元智能匹配的數據質量檢測方法，其特征在于：包括以下步驟：

第一步，進行大數據分析，匯總政務數據中數據元信息，形成標準數據元格式，維護到數據元標準管理系統；

第二步，將利用搜索服務器ElasticSearch對數據元進行分詞處理，選擇需要檢測的數據庫表；

第三步，錄入數據源

通過數據源管理系統建立數據源信息，維護需要檢測的數據庫；

第四步，進入任務調度系統，實現信息項的自動匹配，匹配完成進入人工補全模塊，形成檢查實例，執行檢查實例并發送檢查結果。

2.根據權利要求1所述的基于數據元智能匹配的數據質量檢測方法，其特征在于：所述第一步中，數據元屬性主要包含數據元名稱，數據類型，數據格式，數據集和數據長度；政務數據元目錄包括人員類，機構類，位置類，時間類，公文類，金融類和其它類。

3.根據權利要求1所述的基于數據元智能匹配的數據質量檢測方法，其特征在于：所述第二步中，將數據元核心信息，包括主鍵和名稱，同步到搜索服務器ElasticSearch進行分詞處理，分詞處理實現步驟如下：

S1.首先將數據提交到ElasticSearch數據庫中；

S2.通過分詞控制器將對應的語句分詞，將其權重和分詞結果一并存入數據庫；

S3.當用戶搜索數據時候根據權重將搜索結果進行排名與打分，并將返回結果呈現給用戶。

4.根據權利要求2所述的基于數據元智能匹配的數據質量檢測方法，其特征在于：為了保證中英文情況下的正常匹配，所述步驟S2中，使用中文分詞插件對標準數據元中文名稱進行分詞，構建中文字典；使用英文分詞插件對標準數據元中英文名稱進行分詞，構建英文字典。

5.根據權利要求1所述的基于數據元智能匹配的數據質量檢測方法，其特征在于：所述第四步中，通過數據源管理系統選擇需要檢測的數據庫表，并維護需要檢驗的字段，保存進入自動調度任務查詢庫表中標記的字段，并根據字段的中英文名稱檢索列出關聯的數據元信息，形成檢測示例預案；

預案完成后進行人工審核補全，進一步驗證系統檢測的準確性，對錯誤進行修正，并積累優化檢測系統，驗證完成后提交檢測報告；

提交檢測報告后進入任務列表，設置增量/全量檢測，執行任務開始調度任務實例，任務檢測完成后發出消提醒息。

6.根據權利要求5所述的基于數據元智能匹配的數據質量檢測方法，其特征在于：為了實現多任務的負載均衡，所述第四步中，任務管理采用輕量級分布式任務的處理方案，包括調度中心和執行器；任務調度采用中心式設計，基于集群Quartz實現并支持集群部署，執行器支持集群部署；

所述調度中心持有所有的檢測任務和執行器；路由方式包含選擇第一個，最后一個，輪詢和故障轉等，一個任務配置一種路由方式；執行任務時按照配置的路由方式分發給任意一個執行器；

所述執行器周期性的自動注冊到調度中心，調度中心自動發現注冊的任務并觸發執行，同時調度中心支持手動錄入執行器地址。

7.根據權利要求6所述的基于數據元智能匹配的數據質量檢測方法，其特征在于：所述執行器采用集群部署，支持彈性擴容處理；當有新的執行器上線或者下線時，下次調度時將會重新分配任務。

8.根據權利要求5所述的基于數據元智能匹配的數據質量檢測方法，其特征在于：所述第四步中，通過數據元屬性匹配數據集，數據格式和/或長度類型的校驗，將檢驗不通過的數據記錄到excel文件，并上傳到文件服務器，將文件信息持久化到數據庫，文件支持下載或推送到數據管理部門；

設置增量檢測，數據修改后重新進入檢測，實現數據質量的實時報告。