[發明專利]基于微服務的數據融合系統

在審

• 申請號: 202110088938.3
• 申請日: 2021-01-22
• 公開（公告）號: CN112817711A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 賴善炎;王雷;李超逸;葉春楊
• 申請（專利權）人: 海南大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/2458;G06F16/26
• 代理公司: 海南盛億專利代理事務所(普通合伙) 46005
• 代理人: 陳景帥

本申請涉及一種基于微服務的數據融合系統包括任務管理微服務模塊、任務調度微服務模塊、數據導入導出微服務模塊、數據分析微服務模塊、數據可視化微服務模塊和機器學習微服務模塊；任務管理微服務模塊用于對各任務進行管理；任務調度微服務模塊用于對各任務進行調度和執行；數據導入導出微服務模塊用于根據各任務導入和/或導出相應的數據；數據分析微服務模塊用于對導入的數據進行預處理操作；數據可視化微服務模塊用于對預處理后的數據進行可視化操作并顯示；機器學習微服務模塊用于采用預處理后的數據訓練模型，訓練后的模型用于數據挖掘。該系統采用微服務的形式提供多種功能，交互式可視化操作界面使用戶可簡單快速地整合和分析數據。

技術領域

本申請涉及基于微服務的數據融合系統技術領域，特別是涉及一種基于微服務的數據融合系統。

背景技術

隨機計算機信息技術的發展，數據的產生及存儲變得越來越龐大。大數據有助于獲取、處理和分析大量異構數據，從而獲得有價值的結果，促進科技、生產、社會又快又好的發展。由于對大數據的分析入門要求較高，特別是利用機器學習模型對數據的分析，涉及到數據的預處理，模型的訓練等大數據分析領域的專業知識，對機器學習模型的搭建也較為費時、繁瑣。現有的數據分析方法主要有兩種。一是使用不同語言提供的API，通過調用API中的算法快速搭建數據預處理和機器學習模型，然后對其進行訓練和應用。但這種方法需要一定的計算機和高等數學基礎，對不懂計算機技術的人員難以做到。另一種方法是通過搭建好的數據分析系統，用戶只需要上傳數據就可以獲得模型分析結果，操作相對較為簡單。這種方法是通過后臺對用戶上傳的數據調用相應已訓練好的模型，然后將模型計算的結果返回給用戶。實現技術主要分為應用層、共享層、和采集層三個層面進行平臺設計和開發，可維護性差。而且現有的大數據分析平臺用戶的參與度不高。

發明內容

基于此，有必要針對目前的大數據分析平臺維護性差，用戶參與度低的問題，提供一種基于微服務的數據融合系統。

一種基于微服務的數據融合系統，包括：任務管理微服務模塊、任務調度微服務模塊、數據導入導出微服務模塊、數據分析微服務模塊、數據可視化微服務模塊和機器學習微服務模塊；

所述任務管理微服務模塊用于對各任務進行管理；

所述任務調度微服務模塊用于對各所述任務進行調度和執行；

所述數據導入導出微服務模塊用于根據各所述任務導入和/或導出相應的數據；

所述數據分析微服務模塊用于對導入的數據進行預處理操作；

所述數據可視化微服務模塊用于對預處理后的數據進行可視化操作并顯示；

所述機器學習微服務模塊用于采用預處理后的數據訓練模型，訓練后的模型用于數據挖掘。

上述基于微服務的數據融合系統包括任務管理微服務模塊、任務調度微服務模塊、數據導入導出微服務模塊、數據分析微服務模塊、數據可視化微服務模塊和機器學習微服務模塊；任務管理微服務模塊用于對各任務進行管理；任務調度微服務模塊用于對各任務進行調度和執行；數據導入導出微服務模塊用于根據各任務導入和/或導出相應的數據；數據分析微服務模塊用于對導入的數據進行預處理操作；數據可視化微服務模塊用于對預處理后的數據進行可視化操作并顯示；機器學習微服務模塊用于采用預處理后的數據訓練模型，訓練后的模型用于數據挖掘。該數據融合系統采用微服務的形式提供多種功能，采用交互式可視化操作界面，使用戶可以簡單快速的整合數據資源和分析數據資源。

在其中一個實施例中，所述任務管理微服務模塊還用于創建任務。

在其中一個實施例中，所述任務管理微服務模塊還用于查詢各所述任務。

在其中一個實施例中，所述任務管理微服務模塊還用于對各所述任務進行跟蹤，收集并顯示各所述任務的成功信息和/或失敗信息。