[發明專利]一種基于消除重復記錄的數據清洗平臺設計方法

在審

• 申請號: 201510281346.8
• 申請日: 2015-05-28
• 公開（公告）號: CN104933098A
• 公開（公告）日: 2015-09-23
• 發明（設計）人: 武斌;徐宏偉;鄒建軍
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于消除重復記錄的數據清洗平臺設計方法，其特征在于其具體實現過程為：

創建消除重復記錄組件元數據類，

創建消除重復記錄組件元數據界面類；

創建消除重復記錄組件元數據控制類；

元數據類內聚元數據界面類、元數據控制類，負責對兩個類進行初始化；

配置元數據類的基本信息，該基本信息包括名稱、XML?標簽和類型編號；

將元數據類、元數據界面類和元數據控制類放入一個文件夾中，同時將該文件夾放置在設計器的文件夾中；

修改設計器的配置文件，增加相關組件模型的信息，該信息包括類名、包名、圖標文件路徑；

從設計器組件中拖取去除重復記錄組件模型，將需要處理的數據作為輸入，組件在除去重復記錄后，進行數據更新；

監控端接收數據后，將其分配至一個執行引擎中運行；

執行引擎反饋執行結果。

2.根據權利要求1所述的一種基于消除重復記錄的數據清洗平臺設計方法，其特征在于：所述元數據類實現核心方法，方法的實現思路為：

首先獲取輸入數據行的字段名和值；

然后生成Object列表，并遍歷輸入數據的數據項；

將第一個數據項放入列表，再將剩下的數據項與列表中的數據項的值進行比較：如果數據項中字段的值與列表中數據項的值一樣，則判斷為重復數據，將不存儲至列表中，否則就作為不重復的數據存入列表中；

遍歷完后，最后將列表中的數據作為輸出數據。

3.根據權利要求2所述的一種基于消除重復記錄的數據清洗平臺設計方法，其特征在于：所述元數據界面類繼承自BaseStepDialog類，實現了showDialog方法，負責呈現模型組件的界面，是模型組件與用戶進行數據交互的接口。

4.根據權利要求2所述的一種基于消除重復記錄的數據清洗平臺設計方法，其特征在于：所述元數據控制類，繼承自BaseStepMgr?類，實現了BaseStepMgr?中的方法，用以控制界面的調用和數據的輸出。