[發(fā)明專利]數據處理方法和數據處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711322010.7
• 申請日: 2017-12-12
• 公開（公告）號: CN108090158B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設計）人: 彭佳
• 申請（專利權）人: 中國聯(lián)合網絡通信集團有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;H04L29/08
• 代理公司: 北京天昊聯(lián)合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;汪源

本發(fā)明公開了一種數據處理方法和數據處理系統(tǒng)。該方法包括：根據設置的業(yè)務策略，對采集的用戶行為數據進行匯聚形成多個規(guī)范數據，每個規(guī)范數據包括第一維度數據、第二維度數據和與所述第二維度數據對應的其余用戶行為數據；采用環(huán)形調度方法，將所述規(guī)范數據中的其余用戶行為數據分配到對應的服務器。采用本發(fā)明的方案，避免了服務器擴容時影響用戶體驗；采用本發(fā)明的方案，當出現數據熱點現象、數據過熱或增加新資源時，提高了系統(tǒng)效率；采用本發(fā)明的方案，新增服務器可動態(tài)補充進集群，有利于系統(tǒng)擴展和效率提升。

技術領域

本發(fā)明涉及通信技術領域，特別涉及一種數據處理方法和數據處理系統(tǒng)。

背景技術

近年來，隨著網絡和大數據技術的高速發(fā)展，運營商的業(yè)務越來越多的向數據業(yè)務傾斜，海量數據實時存儲和分析在運營商業(yè)務領域里的影響也越來越大。因此，如何保障數據安全，業(yè)務穩(wěn)定，確保在數據安全上出現問題時能對業(yè)務造成最小程度的沖擊，已成為一項很重要的議題。

但是，傳統(tǒng)的方法存在如下技術問題：

1、在數據服務器很多的系統(tǒng)中，批量增加一批服務器會造成系統(tǒng)整體需要做數據負載均衡，數據同步的時間很長造成，在最開始增加機器的一段時間里會延緩業(yè)務處理，使擴容時出現一個需要同步的窗口期，影響用戶體驗；

2、對于海量數據實時分析中，出現數據熱點現象時或由于數據過熱造成部分處理單元下線，無法實時調配已有資源進行補充，或是增加新資源后造成整體數據重新分布，嚴重影響系統(tǒng)效率；

3、設備擴容復雜，特別是多種異構系統(tǒng)組成聯(lián)合集群時，由于各系統(tǒng)的負載均衡方法不同，新增服務器無法動態(tài)補充進集群，需要和業(yè)務緊綁定，不利于擴展和效率提升。

發(fā)明內容

本發(fā)明提供一種數據處理方法和數據處理系統(tǒng)，用于避免服務器擴容時影響用戶體驗，提高系統(tǒng)效率，有利于系統(tǒng)擴展和效率提升。

為實現上述目的，本發(fā)明提供了一種數據處理方法，包括：

根據設置的業(yè)務策略，對采集的用戶行為數據進行匯聚形成多個規(guī)范數據，每個規(guī)范數據包括第一維度數據、第二維度數據和與所述第二維度數據對應的其余用戶行為數據；

采用環(huán)形調度方法，將所述規(guī)范數據中的其余用戶行為數據分配到對應的服務器。

可選地，所述對采集的用戶行為數據進行匯聚形成多個規(guī)范數據包括：

將第一維度數據相同的用戶行為數據進行歸并形成多個規(guī)范數據。

可選地，所述采用環(huán)形調度方法，將所述規(guī)范數據中的其余用戶行為數據分配到對應的服務器包括：

根據服務器的編號、環(huán)形數據模板的大小和服務器的數量，生成服務器在服務器組中的第一權重值；

根據規(guī)范數據的第一維度數據的編號、環(huán)形數據模板的大小和服務器的數量，生成規(guī)范數據對應的服務器組的范圍；

判斷規(guī)范數據對應的服務器的范圍包括的服務器的數量大于或者等于1；

若判斷出規(guī)范數據對應的服務器組的范圍大于1，根據第二維度數據的編號和規(guī)范數據對應的服務器組的范圍中的最大值，生成與第二維度數據對應的第二權重值；根據與第二維度數據對應的第二權重值和第一權重值，從規(guī)范數據對應的服務器組的范圍中確定出與第二維度數據對應的服務器；將該規(guī)范數據中的與第二維度數據對應的其余用戶行為數據放置于與第二維度數據對應的服務器上。

可選地，若判斷出規(guī)范數據對應的服務器組的范圍等于1，將該規(guī)范數據放置于該規(guī)范數據對應的服務器組的范圍中的服務器上。

可選地，所述根據服務器的編號、環(huán)形數據模板的大小和服務器的數量，生成服務器在服務器組中的第一權重值之前還包括：