[發明專利]一種數據分片分布式處理方法、系統、介質和電子設備

在審

• 申請號: 201910386117.0
• 申請日: 2019-05-09
• 公開（公告）號: CN110334091A
• 公開（公告）日: 2019-10-15
• 發明（設計）人: 孫龍寶
• 申請（專利權）人: 重慶天蓬網絡有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2458;G06F16/28;G06F16/27
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 袁克來

本發明提供一種數據分片分布式處理方法、系統、介質及電子設備，包括：將多個初始化服務器注冊到zookeeper集群中；創建所述多個初始化服務器的一致性哈希環；接收單次點擊消耗量數據并直接寫入mysql關系型數據庫；通過所述單次點擊消耗量數據中的用戶信息及所述一致性哈希環獲取距離用戶最近的服務器信息；將所述單次點擊消耗量數據存儲到獲取的所述服務器需要處理的redis列表隊列中；從服務器的所述redis列表隊列中獲取所述單次點擊消耗量數據，并進行邏輯處理。

技術領域

本發明涉及分布式數據處理技術領域，具體而言，涉及一種數據分片分布式處理方法、系統、介質和電子設備。

背景技術

隨著云計算、移動互聯網和物聯網等新一代信息技術的創新和應用普及，人類早已進入了大數據時代，越來越多的企業需要利用對于大數據的分析來協助企業作出決策，而不同于以往僅僅只是利用經驗及直覺。因此，企業對于大數據量的分析處理具有很大的需求。

分布式數據處理系統(Distributed Data Stream Management System，DDSMS)是可以對數據進行分布式處理的系統。DDSMS可以極大地縮短數據處理時間，提高響應速度，在實際生活中具有極其廣泛的用途。一般來說，一個DDSMS具有以下的功能：

(1)由于物理存儲空間的限制和處理效率的要求，對數據流進行在線處理時，一般只掃描數據一遍；

(2)在一定的時間內，能夠對數據進行排序，使無序變為有序；

(3)對用戶而言，傳統的DDSMS的程序設計使用戶對數據的查詢具有很好的實時性；

(4)傳統的DDSMS在處理數據中，當遇到數據流的數據量巨大已超過系統的承載能力時，隨機或者有選擇地清除一些數據以緩解系統數據的膨脹；

(5)傳統的DDSMS對異常數據的處理也提出了一些要求，首先要迅速，同時要合乎實時的要求；

(6)及時的數據用戶的接口能夠為用戶提供方便的數據信息查詢。

基于云計算的大數據統一分析處理方法，可以將海量結構化、非結構化和半結構化數據分布式處理，能解析異構數據的查詢分析請求，按照查詢分析的數據對象所在位置調度數據處理計算，將數據分析處理計算分布到各數據存儲節點上，實現異構數據的并行分析處理，提供統一數據訪問接口具有克服了大數據分析處理的復雜性和挑戰性，滿足大數據處理的規模不斷增長和實時性需求等優點。

然而，在進行廣告信息推送以及數據統計時，特別是針對cpc(“Cost Per Click”的英文縮寫，每一次點擊)用戶消耗統計場景；用戶的點擊廣告的并發量很高，如cpc點擊產品峰值qps超1000，同時cpc消耗統計涉及資金事務處理的外部系統調用，存儲在mysql的數據也會因為數據量龐大導致讀取性能急劇降低，從而使處理速度較慢。

因此，在長期的研發當中，發明人對數據處理進行了大量的研究，提出了一種數據分片分布式處理方法，以解決上述技術問題之一。

發明內容

本發明的目的在于提供一種數據分片分布式處理方法、系統、介質和電子設備，能夠解決上述提到的至少一個技術問題。具體方案如下：

一種數據分片分布式處理方法，該方法應用于數據分片分布式處理系統，該系統包括注冊模塊、創建模塊、接收模塊、獲取模塊、存儲模塊、以及處理模塊，該方法包括：

步驟1，注冊模塊將多個初始化服務器注冊到zookeeper集群中；

步驟2，創建模塊創建所述多個初始化服務器的一致性哈希環；

步驟3，接收模塊接收單次點擊消耗量數據并直接寫入mysql關系型數據庫；