[發明專利]一種數據集散發布方法及系統

在審

• 申請號: 202011587648.5
• 申請日: 2020-12-29
• 公開（公告）號: CN112597232A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 姚文巨
• 申請（專利權）人: 南京小燦燦網絡科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 南京司南專利代理事務所(普通合伙) 32431
• 代理人: 于淼

本發明屬于數據處理領域，具體公開了一種數據集散發布方法及系統，所述方法包括：數據采集過程，通過多路采集端口采集數據，并對采集的數據進行預處理、標記、分發；數據抽取過程，基于上述分發的數據并對數據進行規則算法抽取、合并以及數據抽取數據分析過程，對抽取的數據進行數據分析，數據分析后將數據輸送至數據倉庫和主體數據庫中進行儲存，同時通過多維數據庫完成數據展現，并通過數據發布子系統進行發布。本發明能對數據進行集散處理，使得系統中在獲取不同的數據時更有效的對數據進行處理，操作方便，提高數據獲取效率。

技術領域

本發明涉及數據處理領域，具體為一種數據集散發布方法及系統。

背景技術

隨著經濟和科技的不斷發展，現實世界中各方面的數據量也急劇增長。數據驅動的智能系統就成為了人工智能和機器學習的前沿重要研究課題。傳統的技術已經無法支撐對龐大數據的處理，并且從現存的數據分類算法來看，很多算法也都是基于大規模的學習樣本來訓練得到分類參數。但當移動終端時代的來臨，學習樣本的數量嚴重制約了相應的智能數據分類系統的應用與推廣，并且其中的噪聲數據也會影響分類系統的準確性。為了提升相應智能系統的性能，數據的數據集散發布就成為了必要的技術。

當前數據集散處理在數據采集、分析、展現上存在以下薄弱點：缺乏對重要實時數據統一集散的系統，來實現重要數據的采集存儲、監控告警、追溯分析等功能，同時針對多維度統計分析困難，不利于整體數據的集散發布。

發明內容

本發明的目的在于提供一種數據集散發布方法及系統，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種數據集散發布方法，包括如下步驟：

S1：數據采集過程，通過多路采集端口采集數據，并對采集的數據進行預處理、標記、分發；

S2：數據抽取過程，基于S1中分發的數據并對數據進行規則算法抽取、合并以及數據抽取；

S3：數據分析過程，對抽取的數據進行數據分析，數據分析后將數據輸送至數據倉庫和主體數據庫中進行儲存，同時通過多維數據庫完成數據展現，并通過數據發布子系統進行發布。

優選的，S1中具體包括：S11：通過多路采集接口采集原始數據，并對該原始數據進行匯聚以及預處理；S12：對預處理后的數據進行代表性樣本抽取，且抽取過程基于原始數據的每個屬性極大、極小、平均的標準；S13：利用正交化策略進行樣本矯正，選擇出最優樣本數據；S14：對該最優樣本數據進行數據標記、分發，將其分別分發至分析子系統，并由分析子系統進行數據抽取及分析。

優選的，S11中預處理包括：去除該原始數據中的含缺失值的記錄以及異常值，利用數據集合的秩與類別數對其進行預切割。

優選的，S2中具體包括：S21：通過關聯規則算法對分發的原始數據進行抽取，得到預處理數據結果表；S22：通過hive連接算法將預處理數據結果表進行合并，并將其導入至大數據平臺；S23：大數據平臺基于相關度從預處理數據中提取關鍵數據；且相關度公式為其中，k(w_i,w_j)為數據w_i與數據w_j的相關度，tfid(w_i)為w_i的詞頻與逆向頻率值，d為關于數據w_i與數據w_j關于詞向量的歐式距離；S24：使用深度學習對提取的關鍵數據進行實體識別和關系抽取

優選的，S3中數據展現通過報表方式和/或數據看板的方式進行數據展現，其中數據看板是將數據按照相關的數據分析模型進行數據抽取，并使用圖表、數據表格進行。