[發明專利]一種融合多個智能分析語言的數據處理系統和方法

在審

• 申請號: 201811119149.6
• 申請日: 2018-09-25
• 公開（公告）號: CN109522348A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 何海峰;王文志;謝東
• 申請（專利權）人: 南京中新賽克科技有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F16/27
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王安琪

本發明公開了一種融合多個智能分析語言的數據處理系統和方法，系統包括：數據接入模塊、分析挖掘模塊和數據存儲模塊三個基本邏輯模塊；方法包括如下步驟：用戶發起流程；用戶配置多智能語言流程，通過在OceanMind平臺上拖拽算子的形式進行配置；系統根據配置的流程，生成任務執行樹；執行任務，基于OceanMind提供的數據接入、清洗轉換功能，統一處理數據源，并根據不同的智能處理語言，發送請求進行處理；接收處理任務，根據語言不同和是否需要并行化，選擇基于原生語言或基于spark的并行處理方式；將來自不同語言處理結果進行整合，并進行持久化操作，以便后續的流程使用。本發明能夠提供統一的數據清洗轉換功能，用于所有數據源進行分布式分析。

技術領域

本發明涉及智能分析語言技術領域，尤其是一種融合多個智能分析語言的數據處理系統和方法。

背景技術

近年來，伴隨著計算機技術和互聯網的快速發展，開啟信息爆炸的時代。社會上充斥著比以往更多的數據，促成人們尋求更合適的數據智能分析方式。現有的智能分析語言，如：python、R語言和tensorflow，經過一定時間的發展，已經能夠在特定領域實現對數據有效的分析。

在便捷化、信息化的大趨勢下，單獨的智能語言處理問題也逐漸凸顯出來，主要有如下幾個方面：(1)單一的智能處理語言多針對特定的領域進行處理，無法滿足全領域的處理需要；(2)各個分析語言對于數據源的標準不統一，對數據清洗轉換提出了非常高的要求；(3)隨著數據量的增大，只能進行單機處理的智能語言，無法滿足并行化，分布式處理的需要。基于以上的情況，建立一套融合多個智能分析語言，提供統一的數據清洗轉換功能，用于所有數據源進行分布式分析，就成為了一個緊迫的任務。

發明內容

本發明所要解決的技術問題在于，提供一種融合多個智能分析語言的數據處理系統和方法，提供統一的數據清洗轉換功能，用于所有數據源進行分布式分析。

為解決上述技術問題，本發明提供一種融合多個智能分析語言的數據處理系統，包括：數據接入模塊、分析挖掘模塊和數據存儲模塊三個基本邏輯模塊；數據接入模塊負責接入不同種類的數據源，并規整為后續處理需要的格式；分析挖掘模塊負責使用接入的數據，根據配置的任務流程，進行任務調度，將任務提交到特定的智能語言系統進行處理；數據存儲模塊負責接收分析挖掘模塊的結果，并存放到特定的目的地中。

優選的，不同種類的數據源為關系型數據庫、大數據存儲系統和流式數據。

優選的，將任務提交到特定的智能語言系統進行處理，如果用戶需要使用并行處理，調用基于spark的處理方式。

相應的，一種融合多個智能分析語言的數據處理方法，包括如下步驟：

(1)用戶發起流程；

(2)用戶配置多智能語言流程，通過在OceanMind平臺上拖拽算子的形式進行配置；

(3)系統根據配置的流程，生成任務執行樹；

(4)執行任務，基于OceanMind提供的數據接入、清洗轉換功能，統一處理數據源，并根據不同的智能處理語言，發送請求進行處理；

(5)接收處理任務，根據語言不同和是否需要并行化，選擇基于原生語言或基于spark的并行處理方式；

(6)將來自不同語言處理結果進行整合，并進行持久化操作，以便后續的流程使用。

優選的，步驟(5)中，接收處理任務，根據語言不同和是否需要并行化，選擇基于原生語言或基于spark的并行處理方式具體包括如下步驟：

(51)若是R語言請求，用戶可根據是否做并行處理進行選擇，若需要并行處理，系統將調用SparkR進行處理，否則使用原生R語言；