[發明專利]數據分析方法及裝置

有效

• 申請號: 201811399481.2
• 申請日: 2018-11-22
• 公開（公告）號: CN111209997B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李毫
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06N3/006
• 分類號: G06N3/006;G06Q30/0601
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

本發明實施例提供一種針對海量無規則數據的數據分析方法及裝置，屬于數據分析領域。所述數據分析方法包括：確定待分析數據的維度集、與所述維度集相對應的指標集以及數據特征限制范圍；根據所述待分析數據的所述維度集、所述指標集和所述數據特征限定范圍，設置所述待分析數據中應用數據處理的多個數據集；以及采用蟻群算法對所述每一個數據集進行數據處理，使蟻群中的每只螞蟻走完所述每一個數據集中的所有數據，以從所述每一個數據集中選擇出信息素高于設定閾值的數據，其中信息素越高的數據與預設的所需數據的相關性越高。本發明能夠從海量無規則數據中選擇出最優數據，避免了有價值的數據被丟棄。

技術領域

本發明涉及數據分析領域，具體地涉及一種數據分析方法及裝置。

背景技術

目前，在許多數據應用領域都存在海量雜亂無序無規則數據(以下簡稱為海量無規則數據)，例如內容營銷。內容營銷是指以圖片、文字、動畫等等介質傳達有關企業的相關內容來給客戶信息，促進銷售，就是通過合理的內容創建、發布及傳播，向用戶傳遞有價值的信息，從而實現網絡營銷的目的。根據內容營銷的定義，可知其存在一種需求，即是需要從海量無規則數據中抽取滿足需求的數據，進行展示和/或營銷。舉例而言，在利用手機進行內容營銷時，需要通過用戶手機操作記錄等獲取用戶生活和工作的各個方面的數據，比如性格偏向、投資偏向、穿著偏向、工作專業、情感特征、體貌特征、個人好惡等等，最后通過數據分析來對用戶畫像，進行個性化的內容營銷，滿足用戶個性化需求。

但是，這里涉及的用戶數據沒有規律性，且每天單個用戶產生的數據雜亂而繁多。因此，如果內容營銷面向的用戶量基礎很大，就會產生海量無規則數據。對于這些海量無規則數據，現有技術是通過數據模型化方案來進行處理，即是先通過創建的數據模型將無序無規則的數據轉移成規則有序化的數據，再進行分析。但是，在將數據規則有序化的過程中，數據模型沒有涉及的數據，往往會被丟棄。換句話說，就是一旦數據在數據模型上轉移失敗，無序數據、無規則數據、甚至部分無序數據轉移的有序數據就會失去意義，被丟棄。但要注意的是，即使這些數據最終被丟棄了，但數據模型仍是對它們進行了數據分析，從而增加了服務器等的數據分析量，占用了較多數據分析資源，最終影響了整個數據分析過程的效率。另外，當前社會的節奏非常快，用戶行為習慣的變化也相對很快，而數據模型的創建往往需要一定的時間，如此，現在技術中的數據模型的創建速率很可能無法適應用戶數據的迅速變化，從而最后導致產品失去競爭力。

發明內容

本發明實施例的目的是提供一種數據分析方法及裝置，用于現有技術中難以處理海量無規則數據的問題。

為了實現上述目的，本發明實施例提供一種數據分析方法，包括：確定待分析數據的維度集、與所述維度集相對應的指標集以及數據特征限制范圍；根據所述待分析數據的所述維度集、所述指標集和所述數據特征限定范圍，設置所述待分析數據中應用數據處理的多個數據集；以及采用蟻群算法對所述每一個數據集進行數據處理，使蟻群中的每只螞蟻走完所述每一個數據集中的所有數據，以從所述每一個數據集中選擇出信息素高于設定閾值的數據，其中信息素越高的數據與預設的所需數據的相關性越高。

可選的，所述采用所述蟻群算法對所述每一個數據集進行數據處理包括：設置所述蟻群算法的初始化參數，其中所述初始化參數包括所述每一數據集中的數據編號、各數據的初始信息素、啟發因子和期望因子，其中所述期望因子包括所述所需數據的信息；以及使每只螞蟻根據所述初始化參數選擇數據以開始行走，根據所述初始信息素及所述啟發因子計算每只螞蟻在行走中從當前數據轉移至下個數據的概率，并在每次發生數據轉移時，計算所述當前數據與所述所需數據之間的相關性，并根據相關性計算結果更新所述當前數據的信息素，直到所有螞蟻走完所述每一個數據集中的所有數據，完成一次迭代，選擇出信息素高于所述設定閾值的數據。