[發明專利]數據篩查方法和裝置

在審

• 申請號: 202011257626.2
• 申請日: 2020-11-11
• 公開（公告）號: CN113761853A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 陸繼任;戚依楠;陳志良
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東尚科信息技術有限公司
• 主分類號: G06F40/177
• 分類號: G06F40/177;G06F16/9035;G06K9/62
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李陽;宗磊

1.一種數據篩查方法，其特征在于，包括：

獲取待過濾的表格，確定所述待過濾的表格中的待過濾屬性，其中，所述待過濾的表格用于記錄多個物品的多個屬性，每個屬性包括多個屬性值，所述待過濾屬性為所述多個屬性中的其中一個屬性，將所述待過濾屬性的屬性值作為第一標簽；

對于每一物品，利用所述待過濾的表格中除所述待過濾屬性的其他屬性的屬性值和預設的模型，確定所述物品在每個所述第一標簽下的第一概率；

根據所述第一標簽和所述第一概率，計算計數矩陣；

根據所述第一概率和所述計數矩陣，確定所述待過濾的表格中錯誤的數據。

2.根據權利要求1所述的方法，其特征在于，在確定所述待過濾的表格中錯誤的數據之后，所述方法還包括：更正所述待過濾的表格中錯誤的數據。

3.根據權利要求1所述的方法，其特征在于，所述預設的模型的數量為多個；

利用所述待過濾的表格中除所述待過濾屬性的其他屬性的屬性值和預設的模型，確定所述物品在每個所述第一標簽下的第一概率包括：

將所述待過濾的表格中除所述待過濾屬性的其他屬性的屬性值輸入所述多個預設的模型，得到所述物品在每個所述第一標簽下的多個第二概率；

計算所述多個第二概率的平均值，將所述平均值作為所述第一概率。

4.根據權利要求1所述的方法，其特征在于，根據所述第一標簽和所述第一概率，計算計數矩陣包括：

對于每一第一標簽，將所述第一標簽作為目標標簽，將物品在所述目標標簽下的第一概率作為目標概率；

計算所有物品的目標概率的平均值，將所有物品的目標概率的平均值作為與所述目標標簽對應的目標置信度閾值；

比較所述目標概率與所述目標置信度閾值，若所述目標概率大于或等于所述目標置信度閾值，則將所述目標標簽作為第二標簽；

根據所述第一標簽和所述第二標簽，生成計數矩陣；其中，所述計數矩陣的元素C_{y′＝i，y＝j}表示第一標簽y′為i且第二標簽y為j的物品的數量。

5.根據權利要求4所述的方法，其特征在于，在生成計數矩陣之后，所述方法還包括：

修正所述計數矩陣中的元素，以使所述計數矩陣中的元素之和等于所述待過濾的表格中所有物品的數量。

6.根據權利要求5所述的方法，其特征在于，修正所述計數矩陣中的元素包括：

對于計數矩陣中的元素C_{y′＝i，y＝j}，確定所述待過濾的表格中第一標簽為i的物品的數量C_y′＝i，確定第一標簽為i且第二標簽為k的物品的數量之和∑_kC_{y′＝i，y＝k}，其中，k為第二標簽的枚舉值；

計算C_{y′＝i，y＝j}除以∑_kC_{y′＝i，y＝k}的商，將所述商與C_y′＝i的乘積C′_{y′＝i，y＝j}作為修正后的C_{y′＝i，y＝j}。

7.根據權利要求6所述的方法，其特征在于，根據所述第一概率和所述計數矩陣，確定所述待過濾的表格中錯誤的數據包括：

對修正后的計數矩陣中的元素進行歸一化處理；

根據所述待過濾的表格中所有物品的數量及歸一化處理后的計數矩陣，計算每一人工標簽對應的錯誤的數據的數量N；其中，N為大于或等于0的整數；

對于每一人工標簽，對所有物品按照所述人工標簽下的第一概率從大到小的順序排序；

將所述第一概率最低的N個物品的數據作為錯誤的數據。