[發(fā)明專利]數據處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201610884184.1
• 申請日: 2016-10-10
• 公開（公告）號: CN107918618B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設計）人: 習明昊;金鐘良
• 申請（專利權）人: 騰訊科技（北京）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/174;G06F16/2458;G06Q30/0201
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 郭曼;王琦

本申請?zhí)峁┝艘环N數據處理方法。該方法包括：對應已存儲的所有用戶的用戶數據中每一個屬性參數的每一個屬性值建立以所述屬性值映射用戶標識的倒排索引表；分別對每一個屬性值映射用戶標識的倒排索引表進行壓縮；以及存儲壓縮后的每一個屬性值映射用戶標識的倒排索引表。通過本發(fā)明可以極大地降低人群畫像的數據計算量和計算時間，節(jié)約計算設備的硬件資源。

技術領域

本申請涉及數據分析和挖掘技術領域，尤其涉及對數據進行處理的方法及裝置。

背景技術

相比傳統(tǒng)的線下會員管理、問卷調查等，大數據技術使得企業(yè)能夠通過互聯(lián)網更便利地獲取用戶多方面的信息，更精準地了解用戶的行為習慣、消費習慣等。通過大數據挖掘得出的用戶畫像以及人群畫像可以應用在企業(yè)的精準營銷和定向市場推廣活動中。其中，用戶畫像(User Persona)是通過將收集到的用戶信息分類并進行標簽化，從而抽象得出的用戶模型。用戶畫像可以包括用戶各方面的信息所屬的分類，例如，一個用戶的用戶畫像可以包括女性、北京、80后、白領、愛看美劇、有孩子、喜歡蘭蔻，等。人群畫像是通過對一個群組用戶的用戶畫像進行分析，得到這個群組的用戶在各個屬性信息維度上的分布情況，例如，一個群組的人群畫像可以包括：這個群組的性別分布、年齡分布、學歷分布、愛好分布等等。但是，通常情況下進行人群畫像通常需要從每日數TB級別的曝光數據中對千萬或上億級的人群包進行計算和分析，需要耗費大量的時間和計算設備的硬件資源。

發(fā)明內容

本申請?zhí)峁┝艘环N數據處理方法，該方法包括：對應已存儲的所有用戶的用戶數據中每一個屬性參數的每一個屬性值建立以該屬性值映射用戶標識的倒排索引表；分別對每一個屬性值映射用戶標識的倒排索引表進行壓縮；以及存儲壓縮后每一個屬性值映射用戶標識的倒排索引表。

本申請還提供了一種數據處理方法，該方法包括：對待處理的用戶數據包進行數據壓縮；讀取存儲的各個屬性值映射用戶標識的倒排索引表；分別針對每一個屬性參數的每一個屬性值，根據壓縮后的待處理的用戶數據包與讀取的所述屬性值映射用戶標識的倒排索引表確定待處理用戶數據包所涉及用戶中具有所述屬性值的用戶的數目；根據待處理用戶數據包所涉及用戶中具有各個屬性值的用戶的數目確定待處理用戶數據包所涉及用戶中具有各個屬性值的用戶所占比重；以及輸出待處理用戶數據包所涉及用戶中具有各個屬性值的用戶的數目和所占比重。

本申請還提供了一種數據處理裝置，該裝置包括：

分析模塊，用于對應已存儲的所有用戶的用戶數據中每一個屬性參數的每一個屬性值建立以所述屬性值映射用戶標識的倒排索引表；

壓縮模塊，用于分別對每一個屬性值映射用戶標識的倒排索引表進行壓縮；以及

存儲模塊，用于存儲壓縮后每一個屬性值映射用戶標識的倒排索引表。

本申請還提供了一種數據處理裝置，該裝置包括：

第二壓縮模塊，用于對待處理的用戶數據包進行數據壓縮；

讀取模塊用于讀取存儲的各個屬性值映射用戶標識的倒排索引表；

求交集模塊，用于分別針對每一個屬性參數的每一個屬性值，根據壓縮后的待處理的用戶數據包與該屬性值映射用戶標識的倒排索引表確定待處理用戶數據包所涉及用戶中具有該屬性值的用戶的數目；

求占比模塊，用于根據待處理用戶數據包所涉及用戶中具有各個屬性值的用戶的數目確定待處理用戶數據包所涉及用戶中具有各個屬性值的用戶所占比重；以及

輸出模塊，用于輸出待處理用戶數據包所涉及用戶中具有各個屬性值的用戶的數目和所占比重。