[發明專利]一種知識挖掘系統及方法

在審

• 申請號: 202011032121.6
• 申請日: 2020-09-27
• 公開（公告）號: CN112163017A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 鄭博洪;賴偉;陳軍;李躍華;區永豪;虎清軍;周志明;張藝;李相;張森玲;蕭懿德
• 申請（專利權）人: 廣州匯智通信技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06N5/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊小紅

本申請公開了一種知識挖掘系統及方法，系統包括：算子倉庫用于為資源數據的建模提供算子工具，通過算子工具實現不同的邏輯功能，算子工具包括公共算子和自定義算子；建模平臺用于根據算子工具和資源數據進行數據分析模型的構建，并將得到的數據分析模型封裝成特定協議；云擎服務模塊用于解析各種不同的特定協議，根據解析得到的特定協議內容調用底層大數據組件功能接口，并執行預置數據處理任務，得到目標數據，目標數據為屏蔽訪問差異后的同構數據。本申請能夠解決現有技術針對海量數據的聯合分析缺乏有效的統一處理手段，導致跨領域數據的知識挖掘費時費力且效率低下的技術問題。

技術領域

本申請涉及數據挖掘技術領域，尤其涉及一種知識挖掘系統及方法。

背景技術

實際工作中，當我們面對海量數據時，很難將各種大數據框架進行融合。不同來源的數據，存儲方式、查詢方式都不相同，需要在不同的系統中使用不同的方式將其查詢出來，再使用一些跨領域數據的變換才能做進一步的統一數據分析，這些操作一般針對都是有數據庫知識及編程知識的人員，對無數據庫知識和編程知識的人員則無法操作，除此之外，對大量非結構化數據進行分析，則需要專業人員操作，普通人員更是無法實現分析。

目前還沒有統一的方法把各種海量異構數據進行融合，在對這些海量數據進行分析時，首先需要許多不同技術領域的專業人員互相配合，耗費人力；其次是沒有統一的分析工具，需要從各種數據源把數據抽取出來，進行格式轉換和復雜處理后，才能進行需求處理或者分析，效率低下。

發明內容

本申請提供了一種知識挖掘系統及方法，用于解決現有技術針對海量數據的聯合分析缺乏有效的統一處理手段，導致跨領域數據的知識挖掘費時費力且效率低下的技術問題。

有鑒于此，本申請第一方面提供了一種知識挖掘系統，包括：算子倉庫、建模平臺和云擎服務模塊；

所述算子倉庫用于為資源數據的建模提供算子工具，通過所述算子工具實現不同的邏輯功能，所述算子工具包括公共算子和自定義算子；

所述建模平臺用于根據所述算子工具和所述資源數據進行數據分析模型的構建，并將得到的所述數據分析模型封裝成特定協議；

所述云擎服務模塊用于解析各種不同的所述特定協議，根據解析得到的特定協議內容調用底層大數據組件功能接口，并執行預置數據處理任務，得到目標數據，所述目標數據為屏蔽訪問差異后的同構數據。

可選的，所述建模平臺具體用于：

對所述資源數據進行數據質量驗證操作，所述數據質量驗證操作包括：缺失驗證、錯誤驗證、精度驗證、編碼驗證和元數據驗證；

對驗證后的資源數據進行建模準備相關操作，所述建模準備相關操作包括：源數據選擇、數據子集抽取、屬性管理、數據排序和數據集劃分；

對所述算子工具進行組合以及參數設置，并根據所述建模準備相關操作后的資源數據進行數據分析模型的構建；

將所述數據分析模型封裝為特定協議。

可選的，還包括：資源接入模塊；

所述資源接入模塊用于為異構資源提供不同的接口，對所述異構資源進行差異化處理，得到屏蔽差異的所述資源數據。

可選的，還包括：數據開發平臺；

所述數據開發平臺用于通過預置腳本、預置程序和調試環境對所述資源數據進行數據查詢需求分析，得到新資源數據，通過所述新資源數據觸發所述建模平臺構建所述數據分析模型。

可選的，還包括：運維部署模塊；

所述運維部署模塊用于通過定時調度器定時對所述特定協議進行調度部署管理，并將所述特定協議發送至所述云擎服務模塊，為用戶提供終止、暫停和重啟的服務。