[發明專利]一種數據處理的方法、裝置、計算機存儲介質及終端

在審

• 申請號: 201811438486.1
• 申請日: 2018-11-28
• 公開（公告）號: CN109634652A
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 姬貴陽
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F8/71
• 分類號: G06F8/71
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 林桐苒;解婷婷

一種數據處理的方法、裝置、計算機存儲介質及終端，包括：通過NIFI建立數據流任務，并為建立的數據流任務運行相應的任務組件；基于SOLR建立任務組件間進行數據流傳輸的數據流接口后，根據平臺業務進行數據流任務的處理。本發明實施例降低了平臺各個業務模塊之間的耦合度，提升了數據處理效率。

技術領域

本文涉及但不限于大數據技術，尤指一種數據處理的方法、裝置、計算機存儲介質及終端。

背景技術

在大數據時代，數據資源需要通過任務平臺進行調度，用來支撐不同業務模塊的數據層，由于數據量較大，且數據具有實時性，需要一種高效的數據處理方法。

當前平臺對各業務模塊數據流的處理方法均較為傳統，使用的數據庫和接口均為相關技術中的已有的結構，且部分平臺各個業務模塊之間耦合度較高，對數據傳輸要求不高，但數據處理效率較低，維護復雜。

發明內容

以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。

本發明實施例提供一種數據處理的方法、裝置、計算機存儲介質及終端，能夠降低平臺各個業務模塊之間的耦合度，提升數據處理效率。

本發明實施例提供了一種數據處理的方法，包括：

通過NIFI建立數據流任務，并為建立的數據流任務運行相應的任務組件；

基于SOLR建立任務組件間進行數據流傳輸的數據流接口后，根據平臺業務進行數據流任務的處理。

可選的，所述數據流任務包括以下一種或一種以上任務：

實時任務、定時任務、觸發任務。

可選的，所述根據平臺業務對數據流任務進行數據流處理包括：

所述數據流任務包括所述實時任務時，選擇NIFI實時任務組件，并配置實時任務組件的相關參數，通過完成相關參數配置的NIFI實時任務組件進行實時任務的數據流處理；

所述數據流任務包括所述定時任務時，選擇NIFI定時任務組件，根據選擇的NIFI定時任務組件進行定時任務的數據讀取。

可選的，所述根據平臺業務進行數據流任務的處理之前，所述方法還包括：

按照預設的封裝策略，通過NIFI設置數據流任務涉及的各種類數據流的封裝格式；

其中，所述封裝格式包括：JS對象簡譜JSON、可擴展標記語言XML或預設的封裝格式。

可選的，所述根據平臺業務進行數據流任務的處理后，所述方法還包括：

對數據流任務處理后的處理數據，通過SOLR按照預設文件格式進行整理并緩存。

可選的，對所述處理數據按照預設文件格式進行整理并緩存時，所述方法還包括：

生成對應于所述處理數據的日志文件。

另一方面，本發明實施例還提供一種數據處理的裝置，包括：建立單元和處理單元；其中，

建立單元用于：通過NIFI建立數據流任務，并為建立的數據流任務運行相應的任務組件；

處理單元用于：基于SOLR建立任務組件間進行數據流傳輸的數據流接口后，根據平臺業務進行數據流任務的處理。

可選的，所述數據流任務包括以下一種或一種以上任務：

實時任務、定時任務、觸發任務。

可選的，所述處理單元用于根據平臺業務對數據流任務進行數據流處理包括：