[發(fā)明專利]一種原始數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 201611110520.3
• 申請日: 2016-12-02
• 公開（公告）號: CN108153793A
• 公開（公告）日: 2018-06-12
• 發(fā)明（設(shè)計(jì)）人: 安西民;林殷;徐鳳桐
• 申請（專利權(quán)）人: 航天星圖科技（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F21/62
• 代理公司: 北京安博達(dá)知識產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

1.一種原始數(shù)據(jù)處理方法，其特征在于，該方法包括如下步驟：

步驟1：原始數(shù)據(jù)處理平臺對數(shù)據(jù)集合中的所有數(shù)據(jù)進(jìn)行格式內(nèi)容的標(biāo)準(zhǔn)化處理；

步驟2：原始數(shù)據(jù)處理平臺去除數(shù)據(jù)記錄中存在的明顯不合理字段值和一條數(shù)據(jù)記錄中存在明顯矛盾的字段值；

步驟3：原始數(shù)據(jù)處理平臺對數(shù)據(jù)集合進(jìn)行缺失補(bǔ)全；

步驟4：原始數(shù)據(jù)處理平臺找出相似重復(fù)的數(shù)據(jù)以便去重。

2.根據(jù)權(quán)利要求1所述的原始數(shù)據(jù)處理方法，其特征在于，原始數(shù)據(jù)處理平臺計(jì)算兩條數(shù)據(jù)記錄之間的相似度，如果相似度小于第一相似度閾值，則認(rèn)為該兩條數(shù)據(jù)記錄是重復(fù)數(shù)據(jù)；。

3.根據(jù)權(quán)利要求2所述的原始數(shù)據(jù)處理方法，其特征在于，根據(jù)該兩條數(shù)據(jù)記錄的置信度選擇一條數(shù)據(jù)記錄進(jìn)行刪除。

4.根據(jù)權(quán)利要求1‐3任意一項(xiàng)所述的原始數(shù)據(jù)處理方法，其特征在于，原始數(shù)據(jù)處理平臺還包括登錄模塊，客戶端用戶可以通過該登陸模塊對該原始數(shù)據(jù)處理平臺進(jìn)行遠(yuǎn)程登錄。

5.根據(jù)權(quán)利要求4所述的原始數(shù)據(jù)處理方法，其特征在于，登錄模塊包括一圖形用戶界面，用戶通過該圖形用戶界面進(jìn)行登錄。

6.根據(jù)權(quán)利要求5所述的原始數(shù)據(jù)處理方法，其特征在于，客戶端通過用戶帳號和密碼進(jìn)行登錄。

7.根據(jù)權(quán)利要求5所述的原始數(shù)據(jù)處理方法，其特征在于，登錄模塊中關(guān)聯(lián)保存所有用戶帳號及其對應(yīng)的密碼和權(quán)限。

8.根據(jù)權(quán)利要求5所述的原始數(shù)據(jù)處理方法，其特征在于，不同的用戶可以通過不同的客戶端登錄，登陸后的用戶可以訪問權(quán)限范圍內(nèi)的數(shù)據(jù)。

9.根據(jù)權(quán)利要求5所述的原始數(shù)據(jù)處理方法，其特征在于，不同的用戶具有不同的權(quán)限。