[發明專利]一種分布式處理訂單大數據的方法及系統

在審

• 申請號: 202110822992.6
• 申請日: 2021-07-21
• 公開（公告）號: CN113516536A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 劉德建;葉偉;陳宏展
• 申請（專利權）人: 福建天晴數碼有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06F16/2458
• 代理公司: 福州旭辰知識產權代理事務所(普通合伙) 35233
• 代理人: 程勇

本發明提供了一種分布式處理訂單大數據的方法，所述方法包括以下步驟：步驟S1、訂單數據清理；步驟S2、待處理數據量統計；步驟S3、對訂單數據進行分組模塊分發任務；步驟S4、在分組模塊的任務節點進行業務處理；步驟S5、匯總任務節點，接收任務節點的結果；本發明能夠實現數據的收集和存儲，到數據的分析和計算。

技術領域

本發明涉及計算機技術領域，特別是一種分布式處理訂單大數據的方法及系統。

背景技術

在商城支付系統下會產生大量的用戶訂單數據，這些訂單數據除了是自身支付行為的憑證意外，還富含其他的大量有價值的信息。例如用戶IP可得到用戶的所在區域，訂單的支付來源可得到用戶所持的設備類型，訂單的付款類型可得到用戶的付款方式。如果采用原始的循環所有訂單數據進行逐一采集處理，效率可想而知會很低下。

發明內容

為克服上述問題，本發明的目的是提供一種能夠實現數據的收集和存儲，到數據的分析和計算的分布式處理訂單大數據的方法及系統。

本發明采用以下方案實現：一種分布式處理訂單大數據的方法，所述方法包括以下步驟：

步驟S1、訂單數據清理；

步驟S2、待處理數據量統計；

步驟S3、對訂單數據進行分組模塊分發任務；

步驟S4、在分組模塊的任務節點進行業務處理；

步驟S5、匯總任務節點，接收任務節點的結果。

進一步的，所述步驟S1進一步具體為：收集下單并付款的用戶訂單數據，過濾用戶下單未付款的訂單數據，分析支付狀態為已付款的訂單數據。

進一步的，所述步驟S2進一步具體包括以下步驟：

步驟S21、經過訂單數據清理，讀取待處理的數據量，執行sql語句，得到總數據量；

步驟S22、讀取asc字符集正排序第一條已付款的訂單ID，為第一條已經付款的訂單ID；

步驟S23、讀取desc數據表倒序第一條已付款的訂單ID，為最后一條已經付款的訂單ID。

進一步的，所述步驟S3進一步具體為：得到總數據量、第一條已付款訂單ID和最后一條已付款訂單ID后，系統對這些訂單數據進行分組，結合可分配任務的任務節點數量，進行任務分發。

進一步的，所述步驟S4進一步具體為：每個任務節點收到分組模塊執行區間的起始計算編號和終止計算編號，讀取本節點需要負責的數據，循環執行，完成所有需處理的業務，將得到的結果向匯總節點上報。

進一步的，所述步驟S5進一步具體為：匯總節點接收各任務節點統計的數據，然后根據步驟S4進行處理，將處理后的結果重新進行整合，得到需要的結果。

本發明還提供了一種分布式處理訂單大數據的系統，包括清理模塊、統計模塊、分發模塊、處理模塊和匯總模塊，所述清理模塊，即訂單數據清理；所述統計模塊，即待處理數據量統計；所述分發模塊，即對訂單數據進行分組模塊分發任務；所述處理模塊，即在分組模塊的任務節點進行業務處理；所述匯總模塊，即匯總任務節點，接收任務節點的結果。

進一步的，所述清理模塊進一步具體為：收集下單并付款的用戶訂單數據，過濾用戶下單未付款的訂單數據，分析支付狀態為已付款的訂單數據。

進一步的，所述統計模塊進一步包括：執行單元、第一讀取單元和第二讀取單元，所述執行單元，即經過訂單數據清理，讀取待處理的數據量，執行sql語句，得到總數據量；所述第一讀取單元，即讀取asc字符集正排序第一條已付款的訂單ID，為第一條已經付款的訂單ID；所述第二讀取單元，即讀取desc數據表倒序第一條已付款的訂單ID，為最后一條已經付款的訂單ID。