[發明專利]數據分析方法及裝置

在審

• 申請號: 201610180084.0
• 申請日: 2016-03-25
• 公開（公告）號: CN107229815A
• 公開（公告）日: 2017-10-03
• 發明（設計）人: 雷宗雄
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F19/00
• 分類號: G06F19/00
• 代理公司: 北京市惠誠律師事務所11353
• 代理人: 劉子敬

技術領域

本發明屬于數據處理領域，尤其涉及一種數據分析方法及裝置。

背景技術

數據分析過程中往往包含大量的數據清洗、特征平滑、特征規范化、特征提煉、特征選擇等處理節點。在傳統數據分析中，對于每一個處理節點，都會產生對應的中間數據，生成的中間數據需要進行落地處理，由于中間數據用于作為下一個處理節點的上游數據依賴，下一個數據節點需要加載上一個數據節點落地后的中間數據作為其輸入。

在傳統數據分析中，上下兩個處理節點通過落地的中間數據進行鏈接，數據每經過一個處理節點就需要做一次數據加載和落地，對于海量數據或者復雜的數據分析過程來說，中間數據的數據量巨大，不僅導致計算資源、輸入輸出(IO)的資源浪費，而且數據加載和落地也會嚴重影響數據分析的效率。

發明內容

本發明提供一種數據分析方法及裝置，用于解決現有數據分析中數據每經過一個處理節點就需要做一次數據加載和落地，不僅導致資源費，且影響數據分析的效率的問題。

為了實現上述目的，本發明提供了一種數據分析方法，包括：

構建數據分析流程中各處理節點對應的處理模型；

將各處理模型按照依賴關系依次連接生成處理模塊；

利用連接后的處理模型對待處理的原始數據進行處理以得到目標數據。

為了實現上述目的，本發明提供了一種數據分析裝置，包括：

構建模塊，用于構建數據分析流程中各處理節點對應的處理模型；

連接模塊，用于將各處理模型按照依賴關系進行連接；

處理模塊，用于利用連接后的處理模型對待處理的原始數據進行以處理以得到目標數據。

本發明提供的數據分析方法及裝置，通過構建數據分析流程中各處理節點對應的處理模型，將各處理模型按照依賴關系依次連接，利用連接后的處理模型對待處理的原始數據進行處理以得到目標數據。本發明中各處理模型按照依賴關系直接連接，上一個處理模型的輸出可以直接輸入到下一個處理模型中，中間數據不再進行落地，節省資源，并且省略中間數據的加載過程，提高了數據分析效率。

附圖說明

圖1為本發明實施例一的數據分析方法的流程示意圖；

圖2為本發明實施例二的數據分析方法的流程示意圖；

圖3為本發明實施例二的DAG圖；

圖4為本發明實施例二的數據分析方法的應用示例示意圖之一；

圖5為本發明實施例三的數據分析方法的流程示意圖；

圖6為本發明實施例四的數據分析裝置的結構示意圖；

圖7為本發明實施例五的數據分析裝置的結構示意圖。

具體實施方式

下面結合附圖對本發明實施例提供的評估指標獲取方法及裝置進行詳細描述。

實施例一

如圖1所示，其為本發明實施例一的數據分析方法的流程示意圖。該數據分析方法包括以下步驟：

S101、構建數據分析流程中各處理節點對應的處理模型。

首先，對設定的數據分析流程進行分析，獲取每個數據分析流程中各處理節點，在獲取到各處理節點后，能夠依據各處理節點的功能，構 建每個處理節點相應的處理模型。

例如，該數據分析流程中包括有特征平滑、特征歸一化、特征提取、特征選擇等處理節點，這些處理節點都有特定的處理功能，這些處理節點能夠對輸入的數據進行處理以得到一個相應的結果，這個結果在數據分析流程中就是中間數據。例如特征歸一化用于將原始數據基于每個特征的均值和標準差進行歸一化處理，歸一化處理后的數據就是該特征歸一化的中間數據。本實施例中，為了避免產生中間數據，將特征歸一化這個處理節點進行模型化，特征歸一化處理模型對輸入的數據具有數據轉換功能，該處理模型能夠記錄每個特征均值和標準差，能夠對原始數據進行轉換。

S102、將各處理模型按照依賴關系進行連接。

在對數據分析流程進行分析時，需要獲取到各處理模型的依賴關系，當構建出各處理節點對應的處理模型后，按照處理節點之間的依賴關系，將各處理模型依次有序地串聯起。為了使各處理模型能夠直接連接，需要設置有數據接口，本實施例中，各處理模型的數據接口是統一的，經過數據接口依據依賴關系將各處理模型進行順次連接后，數據分析流程就可以轉換成一個有序的執行邏輯。

S103、利用連接后的處理模型對待處理的原始數據進行處理以得到目標數據。