[發明專利]基于機器學習模型的數據處理方法、裝置、設備和介質

在審

• 申請號: 202010880704.8
• 申請日: 2020-08-27
• 公開（公告）號: CN112015553A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 周威
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 唐彩琴

1.一種基于機器學習模型的數據處理方法，其特征在于，所述方法包括：

通過本地的生產者模塊接收多于一個的任務請求；所述任務請求包括待處理的任務數據；

通過所述生產者模塊將所述多于一個的任務請求緩存至任務隊列中；

通過本地的消費者模塊從所述任務隊列中復制滿足分組條件的目標任務請求，并將復制的目標任務請求共同作為同個批次的待處理請求；

通過所述消費者模塊調用與所述任務請求對應的機器學習模型，并通過所述機器學習模型對同個批次的待處理請求中攜帶的任務數據進行并行處理，得到與各個目標任務請求分別對應的處理結果；

通過所述消費者模塊將各所述處理結果緩存至結果隊列中，并通過所述生產者模塊反饋所述結果隊列中的各所述處理結果。

2.根據權利要求1所述的方法，其特征在于，所述通過所述生產者模塊將所述多于一個的任務請求緩存至任務隊列中，包括：

按照接收所述多于一個的任務請求的時間順序，通過所述生產者模塊為所述多于一個的任務請求分配對應的任務序號，并將分配所述任務序號后的相應任務請求按所述任務序號順序依次緩存至任務隊列中；

所述通過本地的消費者模塊從所述任務隊列中復制滿足分組條件的目標任務請求，并將復制的目標任務請求共同作為同個批次的待處理請求，包括：

按照所述任務序號順序，通過本地的消費者模塊從所述任務隊列中復制滿足分組條件的目標任務請求，并將復制的目標任務請求共同作為同個批次的待處理請求。

3.根據權利要求1所述的方法，其特征在于，所述通過本地的消費者模塊從所述任務隊列中復制滿足分組條件的目標任務請求，并將復制的目標任務請求共同作為同個批次的待處理請求，包括：

從上一組目標任務請求復制結束后，開始統計依次緩存至所述任務隊列中的任務請求；

當從上一組目標任務請求復制結束后至當前時間的任務時間段小于任務周期，且在所述任務時間段內統計的任務請求的數量達到預設數量時，將所述預設數量的任務請求作為當前組的目標任務請求；

當從上一組目標任務請求復制結束后至當前時間的任務時間段等于所述任務周期，且在所述任務時間段內統計的任務請求的數量小于等于所述預設數量時，將統計的所述數量的任務請求作為當前組的目標任務請求；

復制所述當前組的目標任務請求，并將復制的目標任務請求共同作為同個批次的待處理請求。

4.根據權利要求1所述的方法，其特征在于，所述通過所述消費者模塊將各所述處理結果緩存至結果隊列中，并通過所述生產者模塊反饋所述結果隊列中的各所述處理結果，包括：

通過所述消費者模塊將各所述處理結果緩存至結果隊列中，并將所述結果隊列中的各所述處理結果存儲至區塊鏈中；

基于各所述處理結果，通過所述消費者模塊刪除所述任務隊列中對應的已處理的任務請求；

通過所述生產者模塊反饋所述結果隊列中的各所述處理結果。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當在預設時間段內通過所述生產者模塊無法從所述結果隊列中獲取與所述任務請求對應的處理結果時，確定未得到處理結果的任務請求為任務失敗請求；

通過所述生產者模塊，向所述任務失敗請求所對應的請求發起方反饋表征任務處理失敗的反饋信息。

6.根據權利要求1至5中任一項所述的方法，其特征在于，所述方法還包括：

通過所述生產者模塊為各所述任務請求添加對應的標志位；所述標志位用于表征所述任務請求對應的請求狀態；所述請求狀態包括未復制狀態、已復制狀態、任務未處理狀態、以及任務已處理狀態中的至少一種；

其中，所述未復制狀態為所述任務請求處于緩存至所述任務隊列中、且未進行復制的時間段的狀態；所述已復制狀態為所述任務請求被復制后的狀態；所述任務未處理狀態為所述目標任務請求處于未被所述機器學習模型處理的狀態；所述任務已處理狀態為所述目標任務請求處于已被所述機器學習模型處理后的狀態。