[發明專利]一種針對大型數據的高效處理方法

在審

• 申請號: 202210784231.0
• 申請日: 2022-07-06
• 公開（公告）號: CN115309781A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 楊維明;郭真
• 申請（專利權）人: 中電萬維信息技術有限責任公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27;G06F16/28;G06F16/25;G06F16/23
• 代理公司: 蘭州嘉諾知識產權代理事務所(普通合伙) 62202
• 代理人: 郭海

1.一種基于大型數據的高效處理方法，其特征在于：包括有數據庫、數據應用層、數據庫關系型數據庫和Redis數據庫；數據應用層為Web應用程序，包括如下步驟：

S1. 數據應用層通過SpringBoot框架中YML文件的配置連接數據庫，并利用IDEA進行數據庫連接調試，保證WEB應用程序與數據庫聯通,所屬特征包括：YML配置文件中配置業務型關系數據庫連接和Redis數據庫的連接；其中Redis配置時需要設置資源池的相關信息和Cluster中節點服務信息，以支持Redis集群；在保證Redis集群啟動的同時通過單元測試用例來驗證數據庫是否已經實現聯通；

S2. 安裝Redis應用程序，并復制安裝文件，調整其中的redis.conf配置文件，然后啟動測試；然后在Springboot框架中引入相關MAVEN庫，并編寫Redis配置文件，包含初始化、讀取操作封裝、過期時間及Cluster集群設置；

根據集群數量復制至少3份Redis安裝文件，然后修改redis.conf文件中的默認端口、開啟備份，然后通過啟動命令逐個啟動；SpringBoot項目在POM文件中引入Redis包并配置好RedisTemplate自動裝配類，然后啟動項目，編寫單元測試進行調試是否將集群調用成功；

S3. 根據請求的接口定位進行數據的獲取和邏輯處理，并獲取KEY值，然后利用KEY值從Redis中檢索，如果存在，則將結果集作為處理基數，如果不存在，則需要從當前連接的數據庫中進行檢索，并將結果集作為處理基數，同時異步的將其緩存到Redis中，當再次請求此接口時便可以直接從Redis中檢索獲取；KEY值及組合要求包括業務ID、時間戳TIMESTAMP、類型TYPE保證BitMap中健值的唯一性；

S4.一個key值標識多種數據狀態，并且Redis本身支持多種操作、統計函數，用于Top值統計、訪問量計算、用戶狀態更新、參數過濾等。

2.根據權利要求1所述的一種基于大型數據的高效處理方法，其特征在于：所述的WEB應用程序通過SpringBoot技術版本要求2.x；YML配置文件中配置業務型關系數據庫連接和Redis數據庫的連接；其中Redis配置時需要設置資源池的相關信息和Cluster中節點服務信息，以支持Redis集群。

3.根據權利要求1所述的一種基于大型數據的高效處理方法，其特征在于：所述的Redis應用程序中BitMap使用版本要求大于等于3.0；Redis-Csluster分布式集群技術使用版本要求大于等于6.0。