[發明專利]一種融合多個智能分析語言的數據處理系統和方法

在審

• 申請號: 201811119149.6
• 申請日: 2018-09-25
• 公開（公告）號: CN109522348A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 何海峰;王文志;謝東
• 申請（專利權）人: 南京中新賽克科技有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F16/27
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王安琪

1.一種融合多個智能分析語言的數據處理系統，其特征在于，包括：數據接入模塊、分析挖掘模塊和數據存儲模塊三個基本邏輯模塊；數據接入模塊負責接入不同種類的數據源，并規整為后續處理需要的格式；分析挖掘模塊負責使用接入的數據，根據配置的任務流程，進行任務調度，將任務提交到特定的智能語言系統進行處理；數據存儲模塊負責接收分析挖掘模塊的結果，并存放到特定的目的地中。

2.如權利要求1所述的融合多個智能分析語言的數據處理系統，其特征在于，不同種類的數據源為關系型數據庫、大數據存儲系統和流式數據。

3.如權利要求1所述的融合多個智能分析語言的數據處理系統，其特征在于，將任務提交到特定的智能語言系統進行處理，如果用戶需要使用并行處理，調用基于spark的處理方式。

4.一種融合多個智能分析語言的數據處理方法，其特征在于，包括如下步驟：

(1)用戶發起流程；

(2)用戶配置多智能語言流程，通過在OceanMind平臺上拖拽算子的形式進行配置；

(3)系統根據配置的流程，生成任務執行樹；

(4)執行任務，基于OceanMind提供的數據接入、清洗轉換功能，統一處理數據源，并根據不同的智能處理語言，發送請求進行處理；

(5)接收處理任務，根據語言不同和是否需要并行化，選擇基于原生語言或基于spark的并行處理方式；

(6)將來自不同語言處理結果進行整合，并進行持久化操作，以便后續的流程使用。

5.如權利要求4所述的融合多個智能分析語言的數據處理方法，其特征在于，步驟(5)中，接收處理任務，根據語言不同和是否需要并行化，選擇基于原生語言或基于spark的并行處理方式具體包括如下步驟：

(51)若是R語言請求，用戶可根據是否做并行處理進行選擇，若需要并行處理，系統將調用SparkR進行處理，否則使用原生R語言；

(52)若是Python語言請求，用戶可根據是否做并行處理進行選擇，若需要并行處理，系統將調用PySpark進行處理，否則使用原生python語言；

(53)若是Tensorflow語言請求，用戶可根據是否做并行處理進行選擇，若需要并行處理，系統將使用Xlearning框架進行處理，否則使用原生tensorflow進行處理；

(54)若是Java語言請求，默認并行化處理；

(55)將步驟(51)-(54)的處理結果存入Dataframe中，結束后返回結果。