[發(fā)明專利]數(shù)據(jù)緩存服務系統(tǒng)及方法、終端

有效

• 申請?zhí)枺?/td>: 201710670167.2
• 申請日: 2017-08-08
• 公開（公告）號: CN107562804B
• 公開（公告）日: 2020-09-01
• 發(fā)明（設計）人: 湯奇峰;鄧仲舉
• 申請（專利權）人: 上海數(shù)據(jù)交易中心有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍;吳敏

1.一種數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，包括：

數(shù)據(jù)裝載模塊，適于將多數(shù)據(jù)源的多種數(shù)據(jù)進行裝載，每一數(shù)據(jù)具有標簽值和鍵值；

至少一個數(shù)據(jù)緩存，適于在從所述數(shù)據(jù)裝載模塊獲取所述多種數(shù)據(jù)時，對每一數(shù)據(jù)的標簽值和/或鍵值進行編碼，以使得編碼后的標簽值小于標簽值占用的存儲空間，編碼后的鍵值占用的存儲空間小于鍵值占用的存儲空間，并存儲所述多種數(shù)據(jù)的編碼后的標簽值和編碼后的鍵值；

至少一個數(shù)據(jù)查詢模塊，適于根據(jù)需求方的查詢請求在所述至少一個數(shù)據(jù)緩存中對所述多種數(shù)據(jù)進行匹配查詢；

所述數(shù)據(jù)緩存包括：

鍵值處理單元，適于根據(jù)所述每一數(shù)據(jù)的鍵值得到兩級鍵值對，以作為編碼后的鍵值，所述兩級鍵值對包括一級鍵值和二級鍵值，所述一級鍵值的類型數(shù)量小于鍵值的類型數(shù)量；

所述鍵值處理單元包括：數(shù)量確定子單元，適于根據(jù)所述多種數(shù)據(jù)的鍵值的類型數(shù)量確定所述一級鍵值的類型數(shù)量；

數(shù)值轉換子單元，適于將所述多種數(shù)據(jù)的鍵值轉換為第一數(shù)值串；

一級鍵值確定子單元，適于將所述第一數(shù)值串對所述一級鍵值的類型數(shù)量取模，并將取模后的值轉換為第二數(shù)值串，以作為所述一級鍵值；

二級鍵值確定子單元，適于選取所述第一數(shù)值串中設定數(shù)量的字符，以作為所述二級鍵值。

2.根據(jù)權利要求1所述的數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，所述數(shù)據(jù)緩存包括：

標簽值編碼單元，適于對每一數(shù)據(jù)的標簽值進行編碼，以形成與該標簽值對應的標識碼，所述標識碼包括字符和/或數(shù)字。

3.根據(jù)權利要求1所述的數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，所述數(shù)據(jù)裝載模塊包括：

排序單元，適于按照鍵值的大小對第二數(shù)據(jù)進行排序，其中，第一數(shù)據(jù)按照鍵值的大小排序，所述第二數(shù)據(jù)為所述數(shù)據(jù)源中的數(shù)據(jù)，所述第一數(shù)據(jù)為所述數(shù)據(jù)緩存中的數(shù)據(jù)；

比對單元，適于順序選取所述第一數(shù)據(jù)和排序后的所述第二數(shù)據(jù)，并至少對選取的第一數(shù)據(jù)和第二數(shù)據(jù)的鍵值進行比對，以得到比對結果；

類型確定單元，適于根據(jù)所述比對結果確定所述第一數(shù)據(jù)的類型和/或所述第二數(shù)據(jù)的類型；

更新單元，適于根據(jù)所述第一數(shù)據(jù)的類型和/或所述第二數(shù)據(jù)的類型對所述至少一個數(shù)據(jù)緩存進行數(shù)據(jù)更新。

4.根據(jù)權利要求3所述的數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，所述排序單元按照鍵值從小到大的順序對所述第二數(shù)據(jù)進行排序，所述第一數(shù)據(jù)按照鍵值從小到大的順序排序，所述類型確定單元包括：

第一類型確定子單元，適于在所述比對結果表明所述第一數(shù)據(jù)的鍵值小于所述第二數(shù)據(jù)的鍵值時，確定所述第一數(shù)據(jù)為待刪除數(shù)據(jù)；

第二類型確定子單元，適于在所述比對結果表明所述第一數(shù)據(jù)的鍵值大于所述第二數(shù)據(jù)的鍵值時，確定所述第二數(shù)據(jù)為待新增數(shù)據(jù)。

5.根據(jù)權利要求4所述的數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，所述比對單元在所述第一數(shù)據(jù)的鍵值和所述第二數(shù)據(jù)的鍵值一致時，比對所述第一數(shù)據(jù)的標簽值和所述第二數(shù)據(jù)的標簽值，以得到所述比對結果；

所述類型確定單元包括：

第三類型確定子單元，適于在所述比對結果表明所述第一數(shù)據(jù)的標簽值和所述第二數(shù)據(jù)的標簽值不一致時，確定所述第二數(shù)據(jù)為變化數(shù)據(jù)；

所述更新單元刪除所述待刪除數(shù)據(jù)，并將所述變化數(shù)據(jù)和所述待新增數(shù)據(jù)加載至所述至少一個數(shù)據(jù)緩存。

6.根據(jù)權利要求1所述的數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，所述數(shù)據(jù)裝載模塊采用管道傳輸、HTTP或CLI接口的方式將所述多種數(shù)據(jù)的鍵值和標簽值存入所述至少一個數(shù)據(jù)緩存。

7.根據(jù)權利要求1所述的數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，所述數(shù)據(jù)查詢模塊預先建立協(xié)程池和連接池，所述協(xié)程池包括多個線程，所述連接池包括多個需求方訪問接口到緩存接口的連接。

8.根據(jù)權利要求1所述的數(shù)據(jù)緩存服務系統(tǒng)，其特征在于，還包括：

反向代理和負載均衡模塊，適于接收多個查詢請求，并將所述多個查詢請求均勻分發(fā)至所述至少一個數(shù)據(jù)查詢模塊。