[發明專利]一種數據處理方法、裝置、設備、系統及可讀存儲介質

有效

• 申請號: 202011201890.4
• 申請日: 2020-11-02
• 公開（公告）號: CN112463828B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 張崗杰;蔣寧;周迅溢;王洪斌;吳海英
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2458;G06F9/54;G06F21/60
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;王丹

本發明公開了一種數據處理方法、裝置、設備、系統及可讀存儲介質，涉及數據處理技術領域，以提高服務器資源的利用率。該方法包括：根據預配置信息進行初始化；根據初始化的結果，觸發所述第一數據處理組件的目標進程從中間件Redis獲取目標啟動密鑰，并在獲取到目標啟動密鑰的情況下，從所述中間件Redis提取待處理數據，以對所述待處理數據進行處理，所述目標進程為所述第一數據處理組件包括的任一進程。本發明實施例可以提高服務器資源的利用率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、設備、系統及可讀存儲介質。

背景技術

隨著AI(Artificial Intelligence，人工智能)技術的崛起，算法模型訓練完成之后需要大量的驗證數據、以及復雜驗證流程來完成對模型各個維度的性能、準確率等指標的驗證。

跑批指的是將要處理的數據積攢成“批”，在指定時間一次性進行處理。跑批也可稱為批處理。現有的跑批方式需要借助本地分片、mq(Message Queue，消息隊列)實現分布式跑批。但是，現有的跑批處理方式無法最大化的利用服務器資源。

發明內容

本發明實施例提供一種數據處理方法、裝置、設備、系統及可讀存儲介質，以提高服務器資源的利用率。

第一方面，本發明實施例提供了一種數據處理方法，應用于第一數據處理組件，所述第一數據處理組件包括至少一個進程；所述方法包括：

根據預配置信息進行初始化；

根據初始化的結果，觸發所述第一數據處理組件的目標進程從中間件Redis(Remote Dictionary Server，遠程字典服務器)獲取目標啟動密鑰，并在獲取到目標啟動密鑰的情況下，從所述中間件Redis提取待處理數據，以對所述待處理數據進行處理；

所述目標進程為所述第一數據處理組件包括的任一進程。

第二方面，本發明實施例還提供一種數據處理方法，應用于第一初始化組件；所述方法包括：

獲取待處理的數據以及預配置信息；

向第一數據調度組件發送所述待處理數據，以使所述第一數據調度組件將所述待處理數據存儲到中間件Redis中；

根據所述預配置信息對第一數據處理組件進行初始化。

第三方面，本發明實施例還提供一種數據處理方法，所述方法包括：

根據預配置信息對數據處理組件進行初始化；

根據初始化的結果，觸發所述數據處理組件的目標進程從中間件Redis獲取目標啟動密鑰；

所述目標進程在獲取到目標啟動密鑰的情況下，從所述中間件Redis提取待處理數據，對所述待處理數據進行處理；

所述目標進程為所述數據處理組件包括的任一進程。

第四方面，本發明實施例提供一種數據處理裝置，應用于第一數據處理組件，所述第一數據處理組件包括至少一個進程；所述裝置包括：

第一初始化模塊，用于根據預配置信息進行初始化；

第一觸發模塊，用于根據初始化的結果，觸發所述第一數據處理組件的目標進程從中間件Redis獲取目標啟動密鑰，并在獲取到目標啟動密鑰的情況下，從所述中間件Redis提取待處理數據，以對所述待處理數據進行處理；

所述目標進程為所述第一數據處理組件包括的任一進程。

第五方面，本發明實施例提供一種數據處理裝置，應用于第一初始化組件；所述裝置包括：

第一獲取模塊，用于獲取待處理的數據以及預配置信息；