[發明專利]一種分布式處理訂單大數據的方法及系統

在審

• 申請號: 202110822992.6
• 申請日: 2021-07-21
• 公開（公告）號: CN113516536A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 劉德建;葉偉;陳宏展
• 申請（專利權）人: 福建天晴數碼有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06F16/2458
• 代理公司: 福州旭辰知識產權代理事務所(普通合伙) 35233
• 代理人: 程勇

1.一種分布式處理訂單大數據的方法，其特征在于，所述方法包括以下步驟：

步驟S1、訂單數據清理；

步驟S2、待處理數據量統計；

步驟S3、對訂單數據進行分組模塊分發任務；

步驟S4、在分組模塊的任務節點進行業務處理；

步驟S5、匯總任務節點，接收任務節點的結果。

2.根據權利要求1所述的一種分布式處理訂單大數據的方法，其特征在于：所述步驟S1進一步具體為：收集下單并付款的用戶訂單數據，過濾用戶下單未付款的訂單數據，分析支付狀態為已付款的訂單數據。

3.根據權利要求1所述的一種分布式處理訂單大數據的方法，其特征在于：所述步驟S2進一步具體包括以下步驟：

步驟S21、經過訂單數據清理，讀取待處理的數據量，執行sql語句，得到總數據量；

步驟S22、讀取asc字符集正排序第一條已付款的訂單ID，為第一條已經付款的訂單ID；

步驟S23、讀取desc數據表倒序第一條已付款的訂單ID，為最后一條已經付款的訂單ID。

4.根據權利要求1所述的一種分布式處理訂單大數據的方法，其特征在于：所述步驟S3進一步具體為：得到總數據量、第一條已付款訂單ID和最后一條已付款訂單ID后，系統對這些訂單數據進行分組，結合可分配任務的任務節點數量，進行任務分發。

5.根據權利要求1所述的一種分布式處理訂單大數據的方法，其特征在于：所述步驟S4進一步具體為：每個任務節點收到分組模塊執行區間的起始計算編號和終止計算編號，讀取本節點需要負責的數據，循環執行，完成所有需處理的業務，將得到的結果向匯總節點上報。

6.根據權利要求1所述的一種分布式處理訂單大數據的方法，其特征在于：所述步驟S5進一步具體為：匯總節點接收各任務節點統計的數據，然后根據步驟S4進行處理，將處理后的結果重新進行整合，得到需要的結果。

7.一種分布式處理訂單大數據的系統，其特征在于：包括清理模塊、統計模塊、分發模塊、處理模塊和匯總模塊，所述清理模塊，即訂單數據清理；所述統計模塊，即待處理數據量統計；所述分發模塊，即對訂單數據進行分組模塊分發任務；所述處理模塊，即在分組模塊的任務節點進行業務處理；所述匯總模塊，即匯總任務節點，接收任務節點的結果。

8.根據權利要求7所述的一種分布式處理訂單大數據的系統，其特征在于：所述清理模塊進一步具體為：收集下單并付款的用戶訂單數據，過濾用戶下單未付款的訂單數據，分析支付狀態為已付款的訂單數據。

9.根據權利要求7所述的一種分布式處理訂單大數據的系統，其特征在于：所述統計模塊進一步包括：執行單元、第一讀取單元和第二讀取單元，所述執行單元，即經過訂單數據清理，讀取待處理的數據量，執行sql語句，得到總數據量；所述第一讀取單元，即讀取asc字符集正排序第一條已付款的訂單ID，為第一條已經付款的訂單ID；所述第二讀取單元，即讀取desc數據表倒序第一條已付款的訂單ID，為最后一條已經付款的訂單ID。

10.根據權利要求7所述的一種分布式處理訂單大數據的系統，其特征在于：所述分發模塊進一步具體為：得到總數據量、第一條已付款訂單ID和最后一條已付款訂單ID后，系統對這些訂單數據進行分組，結合可分配任務的任務節點數量，進行任務分發。

11.根據權利要求7所述的一種分布式處理訂單大數據的系統，其特征在于：所述處理模塊進一步具體為：每個任務節點收到分組模塊執行區間的起始計算編號和終止計算編號，讀取本節點需要負責的數據，循環執行，完成所有需處理的業務，將得到的結果向匯總節點上報。

12.根據權利要求7所述的一種分布式處理訂單大數據的系統，其特征在于：所述匯總模塊進一步具體為：匯總節點接收各任務節點統計的數據，然后根據處理模塊進行處理，將處理后的結果重新進行整合，得到需要的結果。