[發明專利]數據歸一化方法、用戶畫像提供方法、設備及存儲介質

有效

• 申請號: 201810175528.0
• 申請日: 2018-03-02
• 公開（公告）號: CN108399249B
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 劉俊
• 申請（專利權）人: 上海精數信息科技有限公司
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06K9/62
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 臧云霄;潘一諾

本發明提供一種數據歸一化方法、用戶畫像提供方法、設備及存儲介質，所述數據歸一化方法包括：S110：自n個數據源采集用戶i的人口屬性j的數據取值；S120：判斷人口屬性j的屬性類型；S130：若所述人口屬性j為連續型，則采用相關性加權均值法計算用戶i的人口屬性j的歸一化值：S140：若所述人口屬性j為離散型，則采用貝葉斯投票法計算用戶i的人口屬性j的歸一化值。本發明提供的方法和設備在做跨數據源的數據歸一時，充分考慮了不同數據源的差異性，對于不同數據源賦予了不同的權值，針對均值法和投票法分別采用了相關性加權和貝葉斯方法，對權值進行了合理的分配，平衡不同數據源可能存在的問題，得到最合理的一個人口屬性跨數據源歸一值。

技術領域

本發明涉及數據查詢領域，尤其涉及一種數據歸一化方法、用戶畫像提 供方法、設備及存儲介質。

背景技術

在企業實際應用場境中，面對同一個自然人，其人口屬性特征往往在不 同來源的數據中存在，而且其屬性特征在不同數據源中存在差異，這樣的情 況是非常普遍。造成的原因大致有以下幾種：1)對于原始數據源中的屬性特 征來自實際收集的情況，可能采樣和收集存在誤差，這是原始數據的數據來 源存在的問題；2)對于原始數據源中的屬性特征來自算法預測的情況，不同 算法的預測結果均存在誤差，這是得到原始數據的算法存在的問題。因此， 在面對不同數據源中的人口屬性存在差異的情況，如何做好數據的歸一化就 是一個非常重要的問題。

現有的技術方案，通常把該問題當作一個普遍情況下的數據清洗的問題， 采用的方法一般為投票法以及均值法：

1)均值法，對不同來源的數據取平均值，具體計算方法如下：

假設用戶i的j屬性來自k數據源的查詢結果為x_ijk，方案希望得到的該 用戶j屬性歸一化的值為則

2)投票法，具體計算方法如下：

假設用戶i的j屬性的在不同數據來源的取值集合為{a_ij1,a_ij2,a_ij3...a_ijn}，計數函數為count()，該用戶j屬性歸一化的值為則

上述的現有技術，其最大的問題在于沒有考慮不同數據源本身的數據質 量問題。來自不同數據源的數據本身數據質量存在差異，在做歸一算法的時 候如果不考慮不同數據源的數據質量就會把質量差的數據所帶的信息納入到 最后的結果中，另外簡單的均值法極易受到極端值的影響，如果某個數據源 的數據是偏離程度比較大的，那來自這個數據源的數據會極大程度上對最后 的結果造成影響。

發明內容

本發明為了克服上述現有技術存在的缺陷，提供一種數據歸一化方法、 用戶畫像提供方法、設備及存儲介質，在做跨數據源的數據歸一時，充分考 慮了不同數據源的差異性，對于不同數據源賦予了不同的權值，針對均值法 和投票法分別采用了相關性加權和貝葉斯方法，對權值進行了合理的分配， 平衡不同數據源可能存在的問題，得到最合理的一個人口屬性跨數據源歸一 值。

本發明提供一種跨數據源人口屬性的數據歸一化方法，包括：

S110：自n個數據源采集用戶i的人口屬性j的數據取值，n為大于等于 2的整數；

S120：判斷人口屬性j的屬性類型；

S130：若所述人口屬性j為連續型，則按如下步驟S131至S133計算用 戶i的人口屬性j的歸一化值：

S131：使n個數據源中每一數據源采集的人口屬性j的連續型數據值形 成一列數據向量x_jk，其中，該列數據向量x_jk的行數為數據源k中的用戶數 量，k為大于等于1小于等于n的整數；

S132：計算該列數據向量的相關系數矩陣；