[發明專利]一種數據分析方法、裝置和系統

在審

• 申請號: 201911088890.5
• 申請日: 2019-11-08
• 公開（公告）號: CN112783874A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 李偉進;侯會滿
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/25;G06F16/332;G06F16/35;G06F40/289
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李陽;趙迪

本發明公開了一種數據分析方法、裝置和系統，涉及計算機技術領域。該方法的一具體實施方式包括：獲取預先為數據分析任務編寫的業務邏輯腳本；其中，所述業務邏輯腳本包括數據源參數信息和業務邏輯代碼；執行所述業務邏輯代碼的數據提取邏輯，以從所述數據源參數信息指定的數據源中獲取業務數據；執行所述業務邏輯代碼的數據處理邏輯，以調用所述數據處理邏輯中設定的計算器集，對所述業務數據進行數據加工處理。該方法通過獲取包含業務邏輯代碼的業務邏輯腳本，從指定的數據源中獲取業務數據，之后調用計算器集實現對業務數據的加工處理，使得系統代碼可以復用，開發效率高。

技術領域

本發明涉及計算機領域，尤其涉及一種數據分析方法、裝置和系統。

背景技術

隨著移動互聯網、云計算、物聯網等信息技術的快速發展，越來越多的數據被生產出來，整個信息行業加速進入了“大數據”時代。與此同時，數據的價值受到越來越多企業的關注，并成為越來越多企業的財富。一般業務場景下，數據從OLTP(On-Line TransactionProcessing，在線事務處理)系統中產生之后，由OLAP(Online Analytical Processing，在線分析處理)系統進一步分析數據，挖掘其價值。

OLAP系統進行數據分析的原理為：從不同的數據源中讀取各種結構的數據(Extract)，之后對數據進行一系列的加工、處理、匯總(Transform)后，把處理結果存儲到不同的數據庫中(Load)，并且提供查詢接口。上述過程中，OLAP系統需針對各個不同的分析處理任務定制開發數據源讀取、數據加工處理以及結果存儲等各個功能模塊，而且其采用定期迭代的方式，對增量數據進行處理。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

定制開發的方式導致系統代碼不能復用，而且存在重復開發，開發效率低，浪費人力資源；采用定期迭代的方式處理增量數據，靈活性差、時延高，不能滿足對實時性有要求的業務場景。

發明內容

有鑒于此，本發明實施例提供一種數據分析方法、裝置和系統，通過獲取包含業務邏輯代碼的業務邏輯腳本，從指定的數據源中獲取業務數據，之后調用計算器集實現對業務數據的加工處理，使得系統代碼可以復用，開發效率高。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據分析方法。

本發明實施例的一種數據分析方法，包括：獲取預先為數據分析任務編寫的業務邏輯腳本；其中，所述業務邏輯腳本包括數據源參數信息和業務邏輯代碼；執行所述業務邏輯代碼的數據提取邏輯，以從所述數據源參數信息指定的數據源中獲取業務數據；執行所述業務邏輯代碼的數據處理邏輯，以調用所述數據處理邏輯中設定的計算器集，對所述業務數據進行數據加工處理。

可選地，所述數據源參數信息包括數據源參數元組，所述數據源參數元組包括數據源基本信息和數據讀取指令；從所述數據源參數信息指定的數據源中獲取業務數據，包括：根據所述數據源基本信息，與對應的數據源建立連接；執行所述數據讀取指令，以從所述數據源中獲取業務數據。

可選地，所述計算器集中包括用于數據加工處理的單一職責的計算器，所述計算器將所述業務數據或者所述業務數據的加工處理結果作為入參，對所述入參進行加工處理后，返回所述入參的加工處理結果。

可選地，所述數據分析任務為物品問答數據的聚類任務，所述業務數據為所述物品問答數據，所述計算器集包括分詞計算器、相似度計算器和聚類計算器；調用所述數據處理邏輯中設定的計算器集，對所述業務數據進行數據加工處理，包括：調用所述分詞計算器，對所述物品問答數據進行分詞，得到分詞結果；調用所述相似度計算器，對所述分詞結果中同一物品的分詞記錄進行相似度計算，得到相似度計算結果；調用所述聚類計算器，以基于所述相似度計算結果，對所述物品問答數據進行聚類。