[發明專利]應對大流量數據的多級緩存方法

有效

• 申請號: 202110316042.6
• 申請日: 2021-03-25
• 公開（公告）號: CN112699154B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 許秀雷
• 申請（專利權）人: 上海洋漪信息技術有限公司;上海洋碼頭網絡技術有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 上海天協和誠知識產權代理事務所 31216
• 代理人: 沈國良

本發明公開了一種應對大流量數據的多級緩存方法，本方法初始化建立不同類型的緩存，并對終端用戶分級，劃分緩存類型；系統接收大流量緩存數據后進行路由處理，完成數據的分片和分級，產生數據版本標識和時間標記；按緩存數據類型存儲到不同類型的緩存，復制緩存數據副本并更新到遠程集中式數據緩存以及后臺數據庫；根據緩存數據版本標識和時間標記，對緩存數據進行存儲、更新并清除失效緩存數據；緩存數據訪問讀取時，根據讀取路由規則按照不同的數據分級方式，進行緩存數據的訪問。本方法解決系統在高并發的訪問情況下，高效分級存儲大數據，提高大數據處理的及時性，提升系統流暢性和穩定性，同時極大降低服務器的存儲成本以及流量費用。

技術領域

本發明涉及計算機技術領域，尤其涉及一種應對大流量數據的多級緩存方法。

背景技術

傳統計算機系統中，數據存儲大多為即時存儲、即時落庫的處理方式，比如系統接收到一條數據信息就直接處理并存儲到后臺數據庫。單一使用數據庫來保存數據的系統會因為面向磁盤，磁盤讀/寫速度比較慢的問題而存在嚴重的性能弊端，一瞬間成千上萬的請求到來，需要系統在極短的時間內完成成千上萬次的讀/寫操作，這個時候往往不是數據庫能夠承受的，極其容易造成數據庫系統癱瘓，最終產生服務宕機的嚴重問題。

隨著微服務技術的推廣使用，部分系統會將接收的數據進行數據庫存儲后，再進行緩存存儲，當用戶訪問請求后先讀取緩存，如果緩存不存在該數據，則再讀取數據庫，這樣可以減少訪問的數據讀取時間，降低數據庫訪問量，從而提升訪問的流暢度。這種技術主要以分布式的高速緩存系統（Memcached）、基于內存的數據庫存儲系統（Redis）為主，但此類存儲技術均為集中式緩存技術，在大流量訪問的情況下，需要高頻網絡訪問，隨之帶來了帶寬瓶頸和網絡延遲。

發明內容

本發明所要解決的技術問題是提供一種應對大流量數據的多級緩存方法，本方法解決系統在高并發的訪問情況下，高效分級存儲大數據，提高大數據處理的及時性，提升系統流暢性和穩定性，同時極大降低服務器的存儲成本以及流量費用。

為解決上述技術問題，本發明應對大流量數據的多級緩存方法包括如下步驟：

步驟一、初始化建立不同類型的緩存，并根據終端用戶的距離遠近進行緩存等級分類，緩存類型包括APP客戶端本地緩存、業務網關緩存、服務器單元節點本地緩存、遠程集中式數據緩存；

步驟二、系統通過所提供的對外服務，接收外部提交的大流量緩存數據，大流量緩存數據包括數據基礎信息和數據內容信息，其中，數據基礎信息包括數據的終端APP標記、用戶ID、IP、系統描述生成時間；

步驟三、將大流量緩存數據進行前置數據處理和后置數據處理，完成緩存數據的分片和分級，產生緩存數據版本標識和時間標記；

步驟四、根據緩存數據的分片和分級，若緩存數據涉及用戶展示頁面相關，存入APP客戶端的本地內存緩存，若緩存數據涉及后臺服務數據，則存儲到相對應的應用服務器節點；

步驟五、經過路由處理后的緩存數據，復制一份緩存數據副本，異步提交到數據處理隊列，更新到遠程集中式數據緩存以及后臺數據庫；

步驟六、根據緩存數據版本標識和時間標記，對緩存數據進行定時存儲處理、定時更新并清除失效緩存數據，檢查不同級別緩存數據的一致性；

步驟七、當系統用戶對緩存數據進行訪問讀取時，根據緩存數據的讀取路由處理規則，按照不同的緩存數據分級方式，進行緩存數據的訪問。

進一步，所述步驟一中，根據終端用戶的距離遠近進行緩存等級分類是根據數據從用戶終端到服務器、再到后臺數據庫的上送和回傳的傳輸距離遠近，將平臺的緩存數據分為用戶APP客戶端的一級緩存、業務網關的二級緩存、服務器單元節點本地三級緩存以及遠程集中式數據緩存，用戶終端的緩存數據根據一級緩存、二級緩存和三級緩存的順序讀取和存儲。