[發明專利]數據重新采樣的方法及裝置、儲存介質、電子裝置

在審

• 申請號: 201811482195.2
• 申請日: 2018-12-05
• 公開（公告）號: CN109783530A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 周循
• 申請（專利權）人: 北京網眾共創科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/9535
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙囡囡;董文倩

本發明實施例提供了一種數據重新采樣的方法及裝置、存儲介質、電子裝置，所述方法包括：通過計算輸入數據中用戶或者物品的出現頻率來確定輸入數據的概率分布；根據輸入數據的概率分布確定馬太效應的評價指標和稀疏性問題的評價指標；根據確定的馬太效應的評價指標和稀疏性問題的評價指標對輸入數據進行重新采樣。解決了相關技術中推薦系統存在馬太效應和數據稀疏性的問題。

技術領域

本發明涉及智能技術領域，具體而言，涉及一種數據重新采樣的方法及裝置、存儲介質、電子裝置。

背景技術

近年來隨著互聯網的蓬勃發展，推薦系統越來越受到人們的重視。推薦系統是指利用用戶的過往數據，通過數據挖掘的手段，發現用戶感興趣的物品并為用戶進行推薦的產品和技術。推薦系統已經蓬勃發展了近20年，廣泛應用于各個商業領域例如電商、新聞、視頻等。國內外的各大互聯網公司均有自己的推薦系統戰略和儲備。推薦系統領域的發展表現為一系列算法的發展和演化。推薦系統最早的模型為協同過濾，隨后發展為邏輯回歸，排序學習，混合模型已經基于深度學習的推薦系統。協同過濾模型因為其易用性和可擴展性，成為許多互聯網公司設計開發推薦系統的必備基礎算法。

現有的協同過濾系統存在馬太效應和稀疏性問題，其中，馬太效應是指在協同過濾的計算過程中，當計算用戶和用戶的相似性，或者物品和物品的相似性的時候，熱門用戶或者熱門物品會和非常多的用戶或者物品相似。這會導致推薦結果中出現偏差。稀疏性問題是指在協同過濾的計算過程中，因為輸入數據的不全面和分布不均衡而導致推薦結果中出現偏差的現象。

針對現有技術中推薦系統存在馬太效應和數據稀疏性的問題，尚未有合理的解決方案。

發明內容

本發明實施例提供了一種數據重新采樣的方法及裝置、存儲介質、電子裝置，以至少解決相關技術中推薦系統存在馬太效應和數據稀疏性的問題。

根據本發明的一個實施例，提供了一種數據重新采樣的方法，包括：通過計算輸入數據中用戶或者物品的出現頻率來確定輸入數據的概率分布；根據所述輸入數據的概率分布確定馬太效應的評價指標和稀疏性問題的評價指標；根據確定的所述馬太效應的評價指標和所述稀疏性問題的評價指標對所述輸入數據進行重新采樣。

優選地，根據所述輸入數據的概率分布確定馬太效應的評價指標包括：根據所述用戶或所述物品在協同過濾中的相似性得分，確定評價所述馬太效應的指標。

優選地，根據所述輸入數據的概率分布確定稀疏性問題的評價指標包括：根據協同過濾中與某個用戶或物品相似的其他用戶或物品參與計算的數量，確定評價所述稀疏性問題的指標。

優選地，根據確定的所述馬太效應的評價指標和所述稀疏性問題的評價指標對所述輸入數據進行重新采樣包括：確定所述輸入數據中每個所述用戶或每個所述物品的概率分布公式；根據推導出來的所述概率分布公式計算所述馬太效應評價指標和所述稀疏性問題的評價指標，與每個所述用戶或每個所述物品概率分布公式之間的數學關系；根據所述數學關系對所述輸入數據進行重新采樣，以通過改變所述輸入數據的概率分布公式來改善所述馬太效應評價指標和所述稀疏性問題的評價指標。

根據本發明的另一個實施例，還提供了一種數據重新采樣的裝置，包括：第一確定模塊，用于通過計算輸入數據中用戶或者物品的出現頻率來確定輸入數據的概率分布；第二確定模塊，用于根據所述輸入數據的概率分布確定馬太效應的評價指標和稀疏性問題的評價指標；采樣模塊，用于根據確定的所述馬太效應的評價指標和所述稀疏性問題的評價指標對所述輸入數據進行重新采樣。

優選地，所述第二確定模塊包括：第一確定單元，用于根據所述用戶或所述物品在協同過濾中的相似性得分，確定評價所述馬太效應的指標。

優選地，所述第二確定模塊包括：第二確定單元，用于根據協同過濾中與某個用戶或物品相似的其他用戶或物品參與計算的數量，確定評價所述稀疏性問題的指標。