[發明專利]一種多源海量數據處理系統及方法

有效

• 申請號: 201810074821.8
• 申請日: 2018-01-25
• 公開（公告）號: CN108427709B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 周康;余河金;夏晨俊;劉利民;王平喜;徐長軍;鄭新標;焦國云
• 申請（專利權）人: 朗新科技集團股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種多源海量數據處理系統，其特征在于，包括計算模塊和任務管理模塊，其中：

所述計算模塊用于接收多源海量數據，并調取數據接收服務解析所述多源海量數據；所述多源海量數據是根據預先在所述任務管理模塊中配置的任務所產生的開源數據；其中，數據接收服務對第三方開源數據平臺所有的多源海量數據都能夠進行解析，以使所述系統兼容多源海量數據；其中，所述多源海量數據是指來自不同數據來源方的數據；

所述計算模塊若接收到外界選擇的預設模型的確認動作，將解析后的多源海量數據輸入所述預設模型，以供分析所述預設模型的輸出結果；

其中，所述計算模塊還用于：

識別解析后的多源海量數據對應的任務；其中，識別解析后的多源海量數據對應的任務是指識別當前接收并解析的多源海量數據是由預先配置的哪項任務產生的；

根據識別結果標記所述解析后的多源海量數據，建立任務與預設模型的對應關系，以供外界根據標記結果選擇所述預設模型；其中，所述任務是產生所述多源海量數據的任務；其中，以供外界根據所述標記結果選擇所述預設模型是指以供外界根據任務與預設模型的對應關系，在確定某一任務時，選擇與該任務匹配的預設模型。

2.根據權利要求1所述的系統，其特征在于，所述數據接收服務是基于Impala SQL語言和開發環境Spark預先開發的。

3.根據權利要求1所述的系統，其特征在于，所述預設模型是從預先建立的預設模型庫中選擇的。

4.根據權利要求3所述的系統，其特征在于，所述預設模型庫包括人工智能學習系統tensorflow和Python集成。

5.根據權利要求1所述的系統，其特征在于，所述任務管理模塊還用于：

監控任務執行的運行狀態。

6.根據權利要求1所述的系統，其特征在于，所述任務管理模塊還用于：

統計分析預設時段內的指定任務和/或所有任務的日志記錄。

7.一種多源海量數據處理方法，其特征在于，包括：

接收多源海量數據，并調取數據接收服務解析所述多源海量數據；所述多源海量數據是根據預先配置的任務所產生的開源數據；其中，數據接收服務對第三方開源數據平臺所有的多源海量數據都能夠進行解析，以便兼容多源海量數據；其中，所述多源海量數據是指來自不同數據來源方的數據；

若接收到外界選擇的預設模型的確認動作，將解析后的多源海量數據輸入所述預設模型，以供分析所述預設模型的輸出結果；

所述方法還包括：

識別解析后的多源海量數據對應的任務；其中，識別解析后的多源海量數據對應的任務是指識別當前接收并解析的多源海量數據是由預先配置的哪項任務產生的；

根據識別結果標記所述解析后的多源海量數據，建立任務與預設模型的對應關系，以供外界根據標記結果選擇所述預設模型；其中，所述任務是產生所述多源海量數據的任務；其中，以供外界根據所述標記結果選擇所述預設模型是指以供外界根據任務與預設模型的對應關系，在確定某一任務時，選擇與該任務匹配的預設模型。

8.一種電子設備，其特征在于，包括：處理器、存儲器和總線，其中：

所述處理器和所述存儲器通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令能夠執行如權利要求7所述的方法。

9.一種非暫態計算機可讀存儲介質，其特征在于，所述非暫態計算機可讀存儲介質存儲計算機指令，所述計算機指令使計算機執行如權利要求7所述的方法。