[發(fā)明專利]數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710198858.7
• 申請日: 2017-03-29
• 公開（公告）號: CN108664322A
• 公開（公告）日: 2018-10-16
• 發(fā)明（設(shè)計(jì)）人: 周海建;楊凌云;劉振魯;陳力
• 申請（專利權(quán)）人: 廣東神馬搜索科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 唐維虎

1.一種數(shù)據(jù)處理方法，應(yīng)用于數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)處理系統(tǒng)包括相對獨(dú)立運(yùn)行的數(shù)據(jù)存儲單元、處理單元及計(jì)算服務(wù)單元，所述數(shù)據(jù)存儲單元支持?jǐn)?shù)據(jù)的順序讀取及隨機(jī)寫入；所述方法包括：

所述處理單元逐條讀取所述數(shù)據(jù)存儲單元中的待處理數(shù)據(jù)；

根據(jù)預(yù)設(shè)的計(jì)算任務(wù)，判斷所述待處理數(shù)據(jù)是否需要進(jìn)行聚合計(jì)算，其中，所述聚合計(jì)算包括需要結(jié)合多條待處理數(shù)據(jù)進(jìn)行的計(jì)算；

在判定所述待處理數(shù)據(jù)不需要進(jìn)行聚合計(jì)算時(shí)，通過所述處理單元或?qū)⒃撎幚頂?shù)據(jù)發(fā)送至所述計(jì)算服務(wù)單元進(jìn)行普通計(jì)算，其中，所述普通計(jì)算為針對每條所述待處理數(shù)據(jù)獨(dú)立進(jìn)行的逐條計(jì)算；

在判定所述待處理數(shù)據(jù)需要進(jìn)行聚合計(jì)算時(shí)，將該待處理數(shù)據(jù)發(fā)送至計(jì)算服務(wù)單元進(jìn)行聚合計(jì)算；

將處理完成的數(shù)據(jù)通過隨機(jī)寫入的方式保存至所述數(shù)據(jù)存儲單元。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將該待處理數(shù)據(jù)發(fā)送至計(jì)算服務(wù)單元進(jìn)行聚合計(jì)算的步驟，包括：

所述處理單元將待處理數(shù)據(jù)發(fā)送至所述計(jì)算服務(wù)單元；

所述計(jì)算服務(wù)單元調(diào)用聚合計(jì)算服務(wù)對預(yù)設(shè)處理時(shí)間段內(nèi)的待處理數(shù)據(jù)進(jìn)行局部聚合計(jì)算，或?qū)λ写幚頂?shù)據(jù)進(jìn)行全局聚合計(jì)算。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述系統(tǒng)還包括聚合結(jié)果存儲單元；所述將該待處理數(shù)據(jù)發(fā)送至計(jì)算服務(wù)單元進(jìn)行聚合計(jì)算的步驟，還包括：

所述計(jì)算服務(wù)單元將聚合計(jì)算過程中的結(jié)果保存至所述聚合結(jié)果存儲單元，以使在計(jì)算服務(wù)單元重啟時(shí)，從所述聚合結(jié)果存儲單元中重新恢復(fù)所述全局聚合計(jì)算或局部聚合計(jì)算的結(jié)果。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將該待處理數(shù)據(jù)發(fā)送至計(jì)算服務(wù)單元進(jìn)行聚合計(jì)算的步驟，包括：

所述處理單元將待處理數(shù)據(jù)發(fā)送至所述計(jì)算服務(wù)單元；

所述計(jì)算服務(wù)單元調(diào)用聚合計(jì)算服務(wù)對接收到的數(shù)據(jù)進(jìn)行預(yù)先逐條處理，并記錄所述預(yù)先逐條處理獲得的中間計(jì)算結(jié)果，在預(yù)設(shè)延遲時(shí)長后，執(zhí)行批次計(jì)算任務(wù)對所述中間計(jì)算結(jié)果進(jìn)行統(tǒng)一的聚合計(jì)算。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述普通計(jì)算包括輕型計(jì)算、重型計(jì)算及通用計(jì)算，所述輕型計(jì)算包括預(yù)設(shè)的計(jì)算量較小的業(yè)務(wù)邏輯計(jì)算處理，所述重型計(jì)算包括預(yù)設(shè)的計(jì)算量較大的計(jì)算處理，所述通用計(jì)算包括預(yù)設(shè)的不同計(jì)算任務(wù)通用的計(jì)算處理；所述通過所述處理單元或?qū)⒃撎幚頂?shù)據(jù)發(fā)送至所述計(jì)算服務(wù)單元進(jìn)行普通計(jì)算的步驟，包括：

在需要對所述待處理數(shù)據(jù)進(jìn)行輕型計(jì)算時(shí)，在所述處理單元的處理進(jìn)程中對所述待處理數(shù)據(jù)逐條進(jìn)行輕型計(jì)算；

在需要對所述待處理數(shù)據(jù)進(jìn)行重型計(jì)算時(shí)，調(diào)用所述計(jì)算服務(wù)單元的重型計(jì)算服務(wù)對所述待處理數(shù)據(jù)逐條進(jìn)行重型計(jì)算處理；

在需要對所述待處理數(shù)據(jù)進(jìn)行通用計(jì)算時(shí)，調(diào)用所述計(jì)算服務(wù)單元的通用計(jì)算服務(wù)對所述待處理數(shù)據(jù)逐條進(jìn)行通用計(jì)算處理。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)處理系統(tǒng)還包括調(diào)度單元，所述處理單元逐條讀取所述數(shù)據(jù)存儲單元中的待處理數(shù)據(jù)的步驟，包括：

所述調(diào)度單元將所述數(shù)據(jù)存儲單元中的待處理數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)分片，其中，每個(gè)所述數(shù)據(jù)分片包括至少一條待處理數(shù)據(jù)；

針對每個(gè)所述數(shù)據(jù)分片，所述調(diào)度單元為該數(shù)據(jù)分片分配一個(gè)所述處理單元的處理進(jìn)程用于處理該數(shù)據(jù)分片中的待處理數(shù)據(jù)；

所述處理單元的處理進(jìn)程逐條獲取被分配的數(shù)據(jù)分片中的待處理數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述數(shù)據(jù)存儲單元包括通過鍵值對的方式進(jìn)行存儲的多條數(shù)據(jù)，每條數(shù)據(jù)對應(yīng)一個(gè)鍵值；所述調(diào)度單元將所述數(shù)據(jù)存儲單元中的待處理數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)分片的步驟，包括：

所述調(diào)度單元根據(jù)預(yù)設(shè)的數(shù)據(jù)處理總時(shí)長及預(yù)設(shè)的數(shù)據(jù)分片處理時(shí)長計(jì)算獲得數(shù)據(jù)分片數(shù)量；

根據(jù)所述數(shù)據(jù)分片數(shù)量將所述待處理數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)分片，其中，每個(gè)所述數(shù)據(jù)分片對應(yīng)一個(gè)鍵值范圍。