[發明專利]一種基于分布式系統的數據處理優化裝置及方法

在審

• 申請號: 201711382011.0
• 申請日: 2017-12-20
• 公開（公告）號: CN108182213A
• 公開（公告）日: 2018-06-19
• 發明（設計）人: 黃曉偉;肖萬明;余涵;葉承坤;高建國
• 申請（專利權）人: 福建新大陸軟件工程有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于分布式系統的數據處理優化裝置，其特征在于：包括分布式緩存集群、計算集群及本地緩存總控管理，分布式緩存集群包括兩個及以上緩存節點，進行全量的信息存儲并與計算集群分離；

計算集群包括兩個及以上計算節點，每一計算節點包括本地緩存、緩存代理及計算單元；所述本地緩存封裝API操作并內嵌有容量擴展與限額管理功能，按業務要求分解成多個內存分片并實現對每個內存分片容量的動態擴展與限額管理，以jar包形式提供給計算單元使用；緩存代理模塊對應服務器上的本地緩存各內存分片的監控工作以及緩存數據的在線同步功能；

所述本地緩存總控管理統一管理各服務器節點的緩存大力，統一對外提供服務操作與內存監控的接口，實現本地緩存的生命周期管理。

2.根據權利要求1所述的一種基于分布式系統的數據處理優化裝置，其特征在于：所述分布式緩存集群由Redis或Memcached搭建，可線性擴展。

3.根據權利要求1所述的一種基于分布式系統的數據處理優化裝置，其特征在于：所述本地緩存為kV數據結構的Java堆外內存，支持跨jvm訪問。

4.根據權利要求1所述的一種基于分布式系統的數據處理優化裝置，其特征在于：所述API操作包括查詢、創建緩存、增刪改緩存。

5.根據權利要求1所述的一種基于分布式系統的數據處理優化裝置，其特征在于：所述監控工作包括清理、刪除工作。

6.根據權利要求1所述的一種基于分布式系統的數據處理優化裝置，其特征在于：所述本地緩存的生命周期管理包括如下步驟：

S01：由外部應用程序周期性的處理分布式緩存集群中的緩存信息；

S02：處理完后通知本地緩存總控管理，本地緩存總控管理將分布式緩存集群中完成處理的緩存信息對應成為本地緩存中相應的內存分片名稱；

S03：本地緩存總控管理通知各計算節點上緩存代理進行同樣的處理操作；

S04：緩存代理完成相應本地緩存中內存分片清理、刪除或緩存數據的在線同步，將完成的信息反饋給本地緩存總控管理；

S05：本地緩存總控管理記錄處理后的狀態，若有異常產生告警日志。

7.根據權利要求6所述的一種基于分布式系統的數據處理優化裝置，其特征在于：所述處理包括更新、狀態監控。

8.一種基于分布式系統的數據處理優化方法，其特征在于包括如下步驟：

S100：并行讀取原始數據，所述原始數據包括數據流或數據文件；

S200：計算單元依據數據識別碼，調用本地緩存提供的API查詢本地緩存相應內存分片中是否存在對應所述數據識別碼的數據；

S300：在本地緩存中存在與所述數據識別碼相匹配的配對碼時，則將對應所述數據識別碼的數據補全到原始數據中，完成數據預處理；

S400：在本地緩存中沒有配對碼時，則從分布式緩存集群中獲取數據識別碼相匹配的配對碼；

S500：判斷是否成功將所述配對碼寫入本地緩存對應的內存分片；若是，則執行步驟S300；若否，則執行步驟S600；

S600：判斷本地緩存的內存分片空間是否達到預設閾值；

S700：若是，則按照預設的參數清理內存分片中舊緩存信息，并重新將配對碼寫入本地緩存；

S800：若否，則按照預設的參數擴展內存分片大小，重新執行步驟S500。

9.根據權利要求8所述的一種基于分布式系統的數據處理優化方法，其特征在于：所述數據包括用戶手機的位置信令、網站訪問日志、消費記錄。

10.根據權利要求7或8或9所述的一種基于分布式系統的數據處理優化方法，其特征在于：所述數據識別碼為國際移動用戶識別碼。