[發明專利]一種提高系統數據查詢能力的方法及系統

有效

• 申請號: 202011235795.6
• 申請日: 2020-11-06
• 公開（公告）號: CN112269905B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 張大海;王景飛
• 申請（專利權）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/901;G06F16/907
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 錢娜

本發明公開了一種提高系統數據查詢能力的方法及系統，方法包括：從數據源獲取源數據，并對所述源數據進行處理；將處理后的源數據存儲至中間存儲介質，對存儲至中間存儲介質的處理后的源數據進行內存數據維護；基于接收到的數據查詢請求，從內存維護的數據中查詢并輸出對應的數據。本發明通過改進查詢流程，重新組織服務架構，能夠達到縮短數據單次查詢耗時，并提高單機服務性能的目的。

技術領域

本發明涉及互聯網數據處理技術領域，尤其涉及一種提高系統數據查詢能力的方法及系統。

背景技術

目前，互聯網服務端的數據查詢技術，為了提高查詢性能，通常從直接查數據庫，到中間加本地緩存，再到中間加緩存集群。目前通常流程為：服務接口-本地緩存-緩存集群-數據庫集群。一般本地緩存為查詢過數據的留存其不提供數據搜索的功能，連接緩存集群中間需要創建連接及通訊，增加了查詢時間，如果緩存集群中數據過期，會穿透至數據庫集群，增加了數據庫連接及通訊檢索時間，使單次查詢耗時出現增大甚至超時，降低了單機服務的查詢能力。

因此，如何有效的提高系統數據的查詢能力，是一項亟待解決的問題。

發明內容

有鑒于此，本發明提供了一種提高系統數據查詢能力的方法，通過改進查詢流程，重新組織服務架構，能夠達到縮短數據單次查詢耗時，并提高單機服務性能的目的。

本發明提供了一種提高系統數據查詢能力的方法，包括：

從數據源獲取源數據，并對所述源數據進行處理；

將處理后的源數據存儲至中間存儲介質；

對存儲至中間存儲介質的處理后的源數據進行內存數據維護；

基于接收到的數據查詢請求，從內存維護的數據中查詢并輸出對應的數據。

優選地，所述從數據源獲取源數據，并對所述源數據進行處理，包括：

從數據源獲取源數據；

對所述源數據進行壓縮，并生成對應的版本號。

優選地，所述對存儲至中間存儲介質的處理后的源數據進行內存數據維護，包括：

從所述中間存儲介質中獲取當前壓縮數據的版本號信息；

基于獲取的當前壓縮數據的版本號信息判斷是否設置固定版本號，若是，則：

判斷所述固定版本號是否與當前內存中數據的版本號相同，若否，則：

基于所述固定版本號拉取對應版本的壓縮數據，更新內存中維護的數據及數據索引。

優選地，所述對存儲至中間存儲介質的處理后的源數據進行內存數據維護，還包括：

當基于獲取的當前壓縮數據的版本號信息判斷未設置固定版本號時，獲取最新版本號；

判斷獲取的所述最新版本號是否與當前內存數據的版本號相同，若否，則：

基于所述最新版本號拉取對應版本的壓縮數據，更新內存中維護的數據及數據索引。

優選地，所述基于接收到的數據查詢請求，從所述內存中查詢并輸出對應的數據，包括：

基于接收到的數據查詢請求，根據所述內存中維護的數據索引，在所述內存中查詢并輸出對應的數據。

一種提高系統數據查詢能力的系統，包括：

數據獲取模塊，用于從數據源獲取源數據，并對所述源數據進行處理；

存儲模塊，用于將處理后的源數據存儲至中間存儲介質；

數據維護模塊，用于對存儲至中間存儲介質的處理后的源數據進行內存數據維護；