[發明專利]一種數據分析引擎的數據接入方法及系統

有效

• 申請號: 202011378439.X
• 申請日: 2020-11-30
• 公開（公告）號: CN112579581B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 張濤;黃紀萍;雷厚宇;楊啟帆;陶心萬;陸葦
• 申請（專利權）人: 貴州力創科技發展有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2455;G06F16/25
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 厲洋洋

本發明涉及一種數據分析引擎的數據接入方法及系統，其方法包括以下步驟，S1，采集多個數據源的數據并清洗，得到多源數據；S2，基于數據分析引擎，并通過識別所述多源數據的數據特征對所述多源數據進行分類，得到多個類型的數據；S3，對所有類型的數據進行分類緩存，并生成分類緩存索引表；S4，根據數據接入指令在所述分類緩存索引表中進行查找，并根據查找的結果從緩存中獲取相應的數據，且采用對應的傳輸協議進行數據傳輸。本發明一種數據分析引擎的數據接入方法及系統對多源數據進行采集并進行統一的清洗、分類、緩存和傳輸，避免了數據分別接入的麻煩。

技術領域

本發明涉及數據接入領域，具體涉及一種數據分析引擎的數據接入方法及系統。

背景技術

隨著互聯網技術的快速發展，在目前的網絡技術應用中，通過接入不同產品的數據，以對各種數據進行大數據分析，實現各種指數和數據的運算，已經是互聯網運用的一項重要內容。為了能夠進行大數據分析，從各個產品接入相關的基礎數據，成為其中的一項重要內容，而接入基礎數據的效率和質量，直接影響到后續的分析處理等過程的效率和質量。

目前的接入各產品的基礎數據的方式，通常是針對各產品的數據源分別接入，即針對各數據源，分別編寫對應的程序代碼，對各數據源分別采用其對應的程序代碼進行數據讀取、數據寫入等各種編碼分析處理過程。然而，在采用對各產品的數據源分別接入的情況下，每個數據源都需要有對應的程序代碼，不僅需要增加很多重復性的工作，導致開發、測試等成本高，而且隨著接入的數據源或者數據量的加大，代碼量回持續增大，需要增加的模塊也越來越多，維護困難。

發明內容

本發明所要解決的技術問題是提供一種數據分析引擎的數據接入方法及系統，對多源數據進行統一接入，避免了數據分別接入的麻煩。

本發明解決上述技術問題的技術方案如下：一種數據分析引擎的數據接入方法，包括以下步驟，

S1，采集多個數據源的數據并清洗，得到多源數據；

S2，基于數據分析引擎，并通過識別所述多源數據的數據特征對所述多源數據進行分類，得到多個類型的數據；

S3，對所有類型的數據進行分類緩存，并生成分類緩存索引表；

S4，根據數據接入指令在所述分類緩存索引表中進行查找，并根據查找的結果從緩存中獲取相應的數據，且采用對應的傳輸協議進行數據傳輸。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，所述S1具體為，采集多個數據源的數據，并根據數據清洗策略對采集到的數據進行清洗，過濾掉無用數據，得到多源數據；

其中，所述數據清洗策略包括多種清洗特征因子，每種清洗特征因子對應一種數據源；將來自同一數據源的數據根據同一清洗特征因子進行清洗。

進一步，所述S2具體為，

S21，計算所述多源數據中任意兩個數據之間的特征差異程度值，

S22，將特征差異程度值小于預設值的數據放置在同一數據集中，其中，同一數據集對應同一類型的數據；

S23，判斷多個數據集中是否存在相同數據，若存在，則將多個數據集中存在的相同數據定義為數據A，且將數據A采用聚類分析法進行重新分類，得到數據A的最終數據類型；

S24，保留與數據A的最終數據類型對應的數據集中的數據A，并刪除與數據A的最終數據類型不對應的數據集中的數據A；

S25，將更新后的數據集中作為數據分類結果，得到多個類型的數據。

進一步，所述S3具體為，根據數據類型以及依據特征差異程度值的大小順序，對所有類型的所述分類數據進行分類排列緩存，生成分類緩存索引表。