[發(fā)明專利]數(shù)據(jù)緩存服務(wù)系統(tǒng)及方法、終端

有效

• 申請?zhí)枺?/td>: 201710670167.2
• 申請日: 2017-08-08
• 公開（公告）號: CN107562804B
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計）人: 湯奇峰;鄧仲舉
• 申請（專利權(quán)）人: 上海數(shù)據(jù)交易中心有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張振軍;吳敏

一種數(shù)據(jù)緩存服務(wù)系統(tǒng)及方法、終端，所述系統(tǒng)包括：數(shù)據(jù)裝載模塊，適于將多數(shù)據(jù)源的多種數(shù)據(jù)進(jìn)行裝載，每一數(shù)據(jù)具有標(biāo)簽值和鍵值；至少一個數(shù)據(jù)緩存，適于在從所述數(shù)據(jù)裝載模塊獲取所述多種數(shù)據(jù)時，對每一數(shù)據(jù)的標(biāo)簽值和/或鍵值進(jìn)行編碼，以使得編碼后的標(biāo)簽值小于標(biāo)簽值占用的存儲空間，編碼后的鍵值占用的存儲空間小于鍵值占用的存儲空間，并存儲所述多種數(shù)據(jù)的編碼后的標(biāo)簽值和編碼后的鍵值；至少一個數(shù)據(jù)查詢模塊，適于根據(jù)需求方的查詢請求在所述至少一個數(shù)據(jù)緩存中對所述多種數(shù)據(jù)進(jìn)行匹配查詢。本發(fā)明技術(shù)方案可以避免緩存數(shù)據(jù)膨脹以及實(shí)現(xiàn)數(shù)據(jù)的快速查詢。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)緩存服務(wù)系統(tǒng)及方法、終端。

背景技術(shù)

在數(shù)據(jù)流通領(lǐng)域，在海量數(shù)據(jù)配送中，數(shù)據(jù)供應(yīng)系統(tǒng)需要滿足高并發(fā)、高吞吐量、低延時和數(shù)據(jù)實(shí)時性的要求。

現(xiàn)有的供應(yīng)數(shù)據(jù)的系統(tǒng)中，通常會將數(shù)據(jù)源的大數(shù)據(jù)全量加載至數(shù)據(jù)庫。需求方在有數(shù)據(jù)需求時，可以從數(shù)據(jù)庫獲取數(shù)據(jù)。數(shù)據(jù)庫中數(shù)據(jù)或文件的存取往往依賴磁盤輸入/輸出(Input/Output,IO)操作。

但是，在數(shù)據(jù)高并發(fā)的情況下，現(xiàn)有的供應(yīng)數(shù)據(jù)系統(tǒng)存在以下問題：1.大量的磁盤IO操作，導(dǎo)致數(shù)據(jù)庫讀取數(shù)據(jù)效率低下，無法滿足數(shù)據(jù)配送的毫秒級低延時以及高吞吐量的要求。2.傳統(tǒng)數(shù)據(jù)庫、文件以及普通緩存系統(tǒng)很難實(shí)現(xiàn)隨著業(yè)務(wù)發(fā)展而橫向擴(kuò)展。3.將數(shù)據(jù)加載入緩存后，往往存在數(shù)據(jù)膨脹，并占用大量內(nèi)存。4.在硬件資源有限和海量數(shù)據(jù)前提下，數(shù)據(jù)庫很難與數(shù)據(jù)源保持實(shí)時更新，并且在數(shù)據(jù)更新時段保持穩(wěn)定的對外服務(wù)能力。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是如何避免緩存數(shù)據(jù)膨脹以及實(shí)現(xiàn)數(shù)據(jù)的快速查詢。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)緩存服務(wù)系統(tǒng)，數(shù)據(jù)緩存服務(wù)系統(tǒng)包括：數(shù)據(jù)裝載模塊，適于將多數(shù)據(jù)源的多種數(shù)據(jù)進(jìn)行裝載，每一數(shù)據(jù)具有標(biāo)簽值和鍵值；至少一個數(shù)據(jù)緩存，適于在從所述數(shù)據(jù)裝載模塊獲取所述多種數(shù)據(jù)時，對每一數(shù)據(jù)的標(biāo)簽值和/或鍵值進(jìn)行編碼，以使得編碼后的標(biāo)簽值小于標(biāo)簽值占用的存儲空間，編碼后的鍵值占用的存儲空間小于鍵值占用的存儲空間，并存儲所述多種數(shù)據(jù)的編碼后的標(biāo)簽值和編碼后的鍵值；至少一個數(shù)據(jù)查詢模塊，適于根據(jù)需求方的查詢請求在所述至少一個數(shù)據(jù)緩存中對所述多種數(shù)據(jù)進(jìn)行匹配查詢。

可選的，所述數(shù)據(jù)緩存包括：標(biāo)簽值編碼單元，適于對每一數(shù)據(jù)的標(biāo)簽值進(jìn)行編碼，以形成與該標(biāo)簽值對應(yīng)的標(biāo)識碼，所述標(biāo)識碼包括字符和/或數(shù)字。

可選的，所述數(shù)據(jù)緩存包括：鍵值處理單元，適于根據(jù)所述每一數(shù)據(jù)的鍵值得到兩級鍵值對，以作為編碼后的鍵值，所述兩級鍵值對包括一級鍵值和二級鍵值，所述一級鍵值的類型數(shù)量小于鍵值的類型數(shù)量。

可選的，所述鍵值處理單元包括：數(shù)量確定子單元，適于根據(jù)所述多種數(shù)據(jù)的鍵值的類型數(shù)量確定所述一級鍵值的類型數(shù)量；數(shù)值轉(zhuǎn)換子單元，適于將所述多種數(shù)據(jù)的鍵值轉(zhuǎn)換為第一數(shù)值串；一級鍵值確定子單元，適于將所述第一數(shù)值串對所述一級鍵值的類型數(shù)量取模，并將取模后的值轉(zhuǎn)換為第二數(shù)值串，以作為所述一級鍵值；二級鍵值確定子單元，適于選取所述第一數(shù)值串中設(shè)定數(shù)量的字符，以作為所述二級鍵值。

可選的，所述數(shù)據(jù)裝載模塊包括：排序單元，適于按照鍵值的大小對第二數(shù)據(jù)進(jìn)行排序，其中，第一數(shù)據(jù)按照鍵值的大小排序，所述第二數(shù)據(jù)為所述數(shù)據(jù)源中的數(shù)據(jù)，所述第一數(shù)據(jù)為所述數(shù)據(jù)緩存中的數(shù)據(jù)；比對單元，適于順序選取所述第一數(shù)據(jù)和排序后的所述第二數(shù)據(jù)，并至少對選取的第一數(shù)據(jù)和第二數(shù)據(jù)的鍵值進(jìn)行比對，以得到比對結(jié)果；類型確定單元，適于根據(jù)所述比對結(jié)果確定所述第一數(shù)據(jù)的類型和/或所述第二數(shù)據(jù)的類型；更新單元，適于根據(jù)所述第一數(shù)據(jù)的類型和/或所述第二數(shù)據(jù)的類型對所述至少一個數(shù)據(jù)緩存進(jìn)行數(shù)據(jù)更新。