[發明專利]一種基于機器學習技術的數據洞察系統

有效

• 申請號: 202011478815.2
• 申請日: 2020-12-15
• 公開（公告）號: CN112506930B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 金震;李明;曹朝輝;楊海建
• 申請（專利權）人: 北京三維天地科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2457;G06F16/28;G06F40/216;G06F40/30;G06N20/00
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 田春龍

本發明提供了一種基于機器學習技術的數據洞察平臺，包括：數據接入層，用于從各種數據源獲取數據，并建立數據洞察平臺的數據庫；數據分類層，用于對所述數據庫中的標準數據進行分類分析生成數據資產目錄，并在所述數據資產目錄下建立數據資產卡片；核心算法層，用于基于對數據資產卡片進行洞察分析，并得到分析結果；可交互業務展示層，用于將所述分析結果根據用戶選定方式進行展示；通過數據洞察平臺解決了數據繁雜難以利用的問題，并通過建立數據資產目錄實現了業務與技術的關聯，打破技術人員和業務人員之間的壁壘，為數據洞察分析提供數據支撐，通過可交互業務展示層，分析結果可以得到直觀的展示。

技術領域

本發明涉及機器學習技術領域，特別涉及一種基于機器學習技術的數據洞察系統。

背景技術

就現如今的發展趨勢而言，大數據技術的發展如火如荼，大數據的價值體現在對大規模數據集合的智能處理方面，進而在大規模的數據中獲取有用的信息。要想逐步實現這個功能，就必須對數據進行分析和挖掘。而數據的采集、存儲、和管理都是數據分析步驟的基礎，通過進行數據分析得到的結果，將應用于大數據相關的各個領域。未來大數據技術的進一步發展，與數據分析技是密切相關的。

目前企業、政府等信息系統的用戶積累了大量的系統數據，但是數據繁雜、重復、不規范的情況較多，導致數據對各項業務發展的驅動作用未體現出來，數據的價值沒有被挖掘出來，而且，雖然很多大數據的處理工具和系統應用了比較先進的技術和方法，可以采集大量的數據，對業務的支撐方面有所欠缺，并且分析結果的展示形式有限。

因此，為了解決數據繁雜難以利用且價值沒有得到體現的問題，本發明提供一種基于機器學習技術的數據洞察系統。

發明內容

本發明提供一種基于機器學習技術的數據洞察系統，通過數據洞察系統解決了數據繁雜難以利用的問題，并通過建立數據資產目錄實現了業務與技術的關聯，打破技術人員和業務人員之間的壁壘，為數據洞察分析提供數據支撐，通過可交互業務展示層，分析結果可以得到直觀的展示。

本發明提供一種基于機器學習技術的數據洞察系統，包括：

數據接入層，用于從各種數據源獲取數據，并建立數據洞察系統的數據庫；

數據分類層，用于對所述數據庫中的標準數據進行分類分析生成數據資產目錄，并在所述數據資產目錄下建立數據資產卡片；

核心算法層，用于基于對數據資產卡片進行洞察分析，并得到分析結果；

可交互業務展示層，用于將所述分析結果根據用戶選定方式進行展示。

在一種可能實現的方式中，從各種數據源獲取數據，并建立數據洞察系統的數據庫，包括：

接收數據導入請求，并根據所述數據導入請求獲取相應的導入數據源；

接收所述導入數據源，并對所述導入數據源進行解析操作，得到所述導入數據源的第一組織架構樹；

獲取所述數據洞察系統的數據源，并對所述數據源進行解析操作，獲得所述數據源的第二組織架構樹；

將所述第一組織架構樹和第二組織架構樹進行合并操作，獲得合并組織架構樹，并基于所述合并架構樹，建立所述數據洞察系統的數據庫；

所述數據庫中包含有所述導入數據源中的數據。

在一種可能實現的方式中，從各種數據源獲取數據，并建立所述數據洞察系統的數據庫后，還包括：

對所述數據庫中的數據進行數據預處理，其過程包括：

對所述數據庫中的數據進行數據缺失檢測，判斷所述數據庫中的數據是否出現缺失，若是，則遍歷所述數據庫，得到數據缺失的位置，利用雙線性差值算法對所述數據缺失的位置進行補值，得到第一數據集合；