[發明專利]數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110907660.8
• 申請日: 2021-08-09
• 公開（公告）號: CN113590605A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 曹遜
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06K9/62
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 關志琨

1.一種數據處理方法，其特征在于，包括：

獲取待處理的數據集合中存在沖突的至少兩個目標數據元組；所述數據集合中包含多個數據元組；

確定各目標數據元組與所述數據集合中其他數據元組的相似度；

根據各目標數據元組的所述相似度，從所述至少兩個目標數據元組中確定出異常數據元組，并從所述數據集合中刪除所述異常數據元組。

2.根據權利要求1所述的方法，其特征在于，每個數據元組中包含第一類數據和第二類數據，所述獲取待處理的數據集合中存在沖突的至少兩個目標數據元組，包括：

獲取預設的校驗規則；所述校驗規則表征第一類數據與第二類數據之間應滿足的約束關系；

獲取待處理的數據集合中相對于所述校驗規則存在沖突的至少兩個數據元組，作為至少兩個目標數據元組；所述至少兩個目標數據元組中的第一類數據相同，第二類數據不同。

3.根據權利要求1所述的方法，其特征在于，所述確定各目標數據元組與所述數據集合中其他數據元組的相似度，包括：

針對各目標數據元組，獲取該目標數據元組與所述數據集合中各個其他數據元組對應的數組距離；

基于該目標數據元組與多個其他數據元組對應的多個數組距離，確定該目標數據元組與所述數據集合中其他數據元組的相似度。

4.根據權利要求3所述的方法，其特征在于，所述基于該目標數據元組與多個其他數據元組對應的多個數組距離，確定該目標數據元組與所述數據集合中其他數據元組的相似度，包括：

獲取該目標數據元組與多個其他數據元組對應的多個數組距離中，距離值第K小的一個目標數組距離；K為大于零的自然數；

基于所述目標數組距離確定所述目標數據元組與所述數據集合中其他數據元組的相似度。

5.根據權利要求1所述的方法，其特征在于，所述獲取待處理的數據集合中存在沖突的至少兩個目標數據元組，包括：

獲取待處理的數據集合中的多對沖突元組對，每對沖突元組對中包含兩個存在沖突的目標數據元組；

所述根據各目標數據元組的所述相似度，從所述至少兩個目標數據元組中確定出異常數據元組，包括：

針對每對沖突元組包含的兩個目標數據元組，將其中相似度低的一個目標數據元組，確定為異常數據元組。

6.根據權利要求5所述的方法，其特征在于，所述從所述數據集合中刪除所述異常數據元組，包括：

逐一刪除每對沖突元組對中的所述異常數據元組，直到所述多對沖突元組對中的所述異常數據元組刪除完畢。

7.一種數據處理裝置，其特征在于，包括：

目標數據元組獲取單元，被配置為獲取待處理的數據集合中存在沖突的至少兩個目標數據元組；所述數據集合中包含多個數據元組；

相似度確定單元，被配置為確定各目標數據元組與所述數據集合中其他數據元組的相似度；

數據元組刪除單元，被配置為根據各目標數據元組的所述相似度，從所述至少兩個目標數據元組中確定出異常數據元組，并從所述數據集合中刪除所述異常數據元組。

8.一種電子設備，其特征在于，包括：

處理器；

用于存儲所述處理器可執行指令的存儲器；

其中，所述處理器被配置為執行所述指令，以實現如權利要求1至6中任一項所述的數據處理方法。

9.一種計算機可讀存儲介質，其特征在于，當所述計算機可讀存儲介質中的指令由電子設備的處理器執行時，使得所述電子設備能夠執行如權利要求1至6中任一項所述的數據處理方法。

10.一種計算機程序產品，包括計算機指令，其特征在于，所述計算機指令被處理器執行時實現權利要求1-6任一項所述的數據處理方法。