[發明專利]數據比對方法及裝置

在審

• 申請號: 201710471861.1
• 申請日: 2017-06-20
• 公開（公告）號: CN107346330A
• 公開（公告）日: 2017-11-14
• 發明（設計）人: 彭松;秦鋒劍
• 申請（專利權）人: 小草數語（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據比對方法及裝置。

背景技術

隨著大數據時代的來臨，傳統的比對碰撞算法已經無法滿足當前數據形式下的需要。傳統的數據比對算法是依據數據本身的特征值進行歸類、比對，找出在不同數據集合下共同出現的元素。但是，如果出現數據源的數據不完整，或者數據表達有一定的不確定性，亦或者數據表達維度不同等情況，則數據比對便無法得到所需要的結論。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種數據比對方法，通過利用全量關聯信息數據庫對待比對數據進行預處理，再根據設定的數據比對規則對預處理后的待比對數據進行比對，可以最大程度地利用碎片化數據進行數據集合比對工作，從而獲得所需求的比對結果，解決了碎片化數據以及異構數據無法進行比對的問題。

本發明的第二個目的在于提出一種數據比對裝置。

本發明的第三個目的在于提出一種數據比對裝置。

本發明的第四個目的在于提出一種計算機程序產品。

本發明的第五個目的在于提出一種非臨時性計算機可讀存儲介質。

為達上述目的，本發明第一方面實施例提出了一種數據比對方法，包括：導入待比對數據；基于全量關聯信息數據庫對所述待比對數據進行預處理；設定數據比對規則；根據所述數據比對規則對預處理后的待比對數據進行比對；輸出比對結果。

本發明實施例的數據比對方法，通過利用全量關聯信息數據庫對待比對數據進行預處理，再根據設定的數據比對規則對預處理后的待比對數據進行比對，可以最大程度地利用碎片化數據進行數據集合比對工作，從而獲得所需求的比對結果，解決了碎片化數據以及異構數據無法進行比對的問題。

另外，本發明實施例的數據比對方法，還有以下附加技術特征：

在本發明的一個實施例中，導入待比對數據，包括：提供數據導入界面；在所述數據導入界面中，接收上傳文件操作以導入所述待比對數據。

在本發明的一個實施例中，基于全量關聯信息數據庫對所述待比對數據進行預處理，包括：對所述待比對數據進行解析，獲取所述待比對數據包含的key值的字段；根據所述包含的key值的字段，基于全量關聯信息數據庫對所述待比對數據中的其他字段進行數據補全。

在本發明的一個實施例中，設定數據比對規則，包括：提供數據比對規則設定界面；在所述數據比對規則設定界面中設定數據比對規則。

在本發明的一個實施例中，上傳文件的格式包括文本格式、超文本格式、網頁文本格式、可轉換成文本格式的圖片格式、可轉換成文本格式的壓縮格式中的一種。

在本發明的一個實施例中，所述方法還包括：如果上傳的文件格式不支持，則進行錯誤提示。

在本發明的一個實施例中，所述方法還包括：采用正則表達式和機器學習的方式對所述待比對數據進行過濾。

在本發明的一個實施例中，根據所述包含的key值的字段，基于全量關聯信息數據庫對所述待比對數據中的其他字段進行數據補全，包括：

利用預設的數據補全規則對所述待比對數據中的其他字段進行數據補全。

為達上述目的，本發明第二方面實施例提出了一種數據比對裝置，包括：導入模塊，用于導入待比對數據；預處理模塊，用于基于全量關聯信息數據庫對所述待比對數據進行預處理；設定模塊，用于設定數據比對規則；比對模塊，用于根據所述數據比對規則對預處理后的待比對數據進行比對；輸出模塊，用于輸出比對結果。

本發明實施例的數據比對裝置，通過利用全量關聯信息數據庫對待比對數據進行預處理，再根據設定的數據比對規則對預處理后的待比對數據進行比對，可以最大程度地利用碎片化數據進行數據集合比對工作，從而獲得所需求的比對結果，解決了碎片化數據以及異構數據無法進行比對的問題。

另外，本發明實施例的數據比對裝置，還有以下附加技術特征：

在本發明的一個實施例中，所述導入模塊，用于：提供數據導入界面；在所述數據導入界面中，接收上傳文件操作以導入所述待比對數據。

在本發明的一個實施例中，所述預處理模塊，用于：對所述待比對數據進行解析，獲取所述待比對數據包含的key值的字段；根據所述包含的key值的字段，基于全量關聯信息數據庫對所述待比對數據中的其他字段進行數據補全。

在本發明的一個實施例中，所述設定模塊，用于：提供數據比對規則設定界面；在所述數據比對規則設定界面中設定數據比對規則。