[發(fā)明專利]一種數(shù)據(jù)存儲的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611119917.9
• 申請日: 2016-12-08
• 公開（公告）號: CN106775470B
• 公開（公告）日: 2020-04-10
• 發(fā)明（設(shè)計）人: 楊鵬
• 申請（專利權(quán)）人: 武漢斗魚網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京眾達德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 劉杰

技術(shù)領(lǐng)域

本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)存儲的方法及系統(tǒng)。

背景技術(shù)

在現(xiàn)如今互聯(lián)網(wǎng)時代，各類App(Application，應(yīng)用)蓬勃發(fā)展，這些App一般都有自己的服務(wù)器，用于維護用戶數(shù)據(jù)。隨著用戶量的增長，用戶數(shù)據(jù)也不斷增長，當(dāng)服務(wù)器的存儲介質(zhì)容量、讀寫響應(yīng)速度遇到瓶頸時，就需要對服務(wù)器的存儲空間進行擴容。

在現(xiàn)有技術(shù)中，在進行擴容時，難以避免遷移舊數(shù)據(jù)，數(shù)據(jù)遷移通常會在低峰期短時間內(nèi)停止服務(wù)，更壞的情況是數(shù)據(jù)丟失，如此，耗費人力，且需要承擔(dān)數(shù)據(jù)丟失的風(fēng)險。

發(fā)明內(nèi)容

本發(fā)明實施例通過提供一種數(shù)據(jù)存儲的方法及系統(tǒng)，解決了現(xiàn)有技術(shù)中的數(shù)據(jù)存儲方法，在對存儲介質(zhì)進行擴容時，需要進行數(shù)據(jù)遷移的技術(shù)問題。

一方面，本發(fā)明通過本發(fā)明的一實施例提供如下技術(shù)方案：

一種數(shù)據(jù)存儲方法，包括：

應(yīng)用層將需要存儲的數(shù)據(jù)發(fā)送給調(diào)度服務(wù)集群中的調(diào)度服務(wù)單元，所述數(shù)據(jù)中至少包含一關(guān)鍵字；

所述調(diào)度服務(wù)單元接收所述數(shù)據(jù)，并從所述數(shù)據(jù)中提取所述關(guān)鍵字；

所述調(diào)度服務(wù)單元基于所述關(guān)鍵字，從存儲介質(zhì)中的n個數(shù)據(jù)庫中確定第一數(shù)據(jù)庫，其中，所述存儲介質(zhì)分為n個分片區(qū)間，每個分片區(qū)間對應(yīng)有一數(shù)據(jù)域庫，n為大于等于2的整數(shù)；

所述調(diào)度服務(wù)單元基于所述關(guān)鍵字，從所述第一數(shù)據(jù)庫中的多個數(shù)據(jù)表中確定第一數(shù)據(jù)表；

所述調(diào)度服務(wù)單元將所述數(shù)據(jù)存儲在所述第一數(shù)據(jù)表中。

優(yōu)選地，在所述應(yīng)用層將需要存儲的數(shù)據(jù)發(fā)送給調(diào)度服務(wù)集群中的調(diào)度服務(wù)單元之前，還包括：

所述應(yīng)用層基于一致性哈希算法在所述調(diào)度服務(wù)集群中選出所述調(diào)度服務(wù)單元。

優(yōu)選地，所述調(diào)度服務(wù)單元基于所述關(guān)鍵字，從存儲介質(zhì)中的n個數(shù)據(jù)庫中確定第一數(shù)據(jù)庫，包括：

所述調(diào)度服務(wù)單元確定所述關(guān)鍵字所屬的分片區(qū)間；

所述調(diào)度服務(wù)單元將所述n個數(shù)據(jù)庫中的與所述分片區(qū)間對應(yīng)的數(shù)據(jù)庫確定為所述第一數(shù)據(jù)庫。

優(yōu)選地，所述調(diào)度服務(wù)單元基于所述關(guān)鍵字，從所述第一數(shù)據(jù)庫中的多個數(shù)據(jù)表中確定第一數(shù)據(jù)表，包括：

所述調(diào)度服務(wù)單元對所述關(guān)鍵字進行一致性哈希運算，得到哈希值；

所述調(diào)度服務(wù)單元基于所述哈希值按照一致性哈希的落點規(guī)則，從所述多個數(shù)據(jù)表中確定所述第一數(shù)據(jù)表，所述多個數(shù)據(jù)表組成一致性哈希閉環(huán)。

優(yōu)選地，所述數(shù)據(jù)存儲的方法，還包括：

所述調(diào)度服務(wù)單元判斷所述關(guān)鍵字距離所述n個分片區(qū)間中的最大分片區(qū)間的上限是否小于一預(yù)設(shè)值；

若小于，所述調(diào)度服務(wù)單元則輸出用于表示需要對所述存儲介質(zhì)進行擴容的信息。

另一方面，本發(fā)明通過本發(fā)明的一實施例，提供如下技術(shù)方案：

一種數(shù)據(jù)存儲系統(tǒng)，包括：

應(yīng)用層，用于：將需要存儲的數(shù)據(jù)發(fā)送給調(diào)度服務(wù)集群中的調(diào)度服務(wù)單元，所述數(shù)據(jù)中至少包含一關(guān)鍵字；

所述調(diào)度服務(wù)集群，包含多個調(diào)度服務(wù)單元；其中，所述多個調(diào)度服務(wù)單元中的所述調(diào)度服務(wù)單元，用于：接收所述數(shù)據(jù)，并從所述數(shù)據(jù)中提取所述關(guān)鍵字；基于所述關(guān)鍵字，從存儲介質(zhì)中的n個數(shù)據(jù)庫中確定第一數(shù)據(jù)庫，其中，所述存儲介質(zhì)分為n個分片區(qū)間，每個分片區(qū)間對應(yīng)有一數(shù)據(jù)域庫，n為大于等于2的整數(shù)；基于所述關(guān)鍵字，從所述第一數(shù)據(jù)庫中的多個數(shù)據(jù)表中確定第一數(shù)據(jù)表；將所述數(shù)據(jù)存儲在所述第一數(shù)據(jù)表中。

優(yōu)選地，所述應(yīng)用層，還用于：

在所述將需要存儲的數(shù)據(jù)發(fā)送給調(diào)度服務(wù)集群中的調(diào)度服務(wù)單元之前，基于一致性哈希算法在所述調(diào)度服務(wù)集群中選出所述調(diào)度服務(wù)單元。

優(yōu)選地，所述調(diào)度服務(wù)單元，具體用于：

確定所述關(guān)鍵字所屬的分片區(qū)間；將所述n個數(shù)據(jù)庫中的與所述分片區(qū)間對應(yīng)的數(shù)據(jù)庫確定為所述第一數(shù)據(jù)庫。

優(yōu)選地，所述調(diào)度服務(wù)單元，具體用于：

對所述關(guān)鍵字進行一致性哈希運算，得到哈希值；基于所述哈希值按照一致性哈希的落點規(guī)則，從所述多個數(shù)據(jù)表中確定所述第一數(shù)據(jù)表，所述多個數(shù)據(jù)表組成一致性哈希閉環(huán)。

優(yōu)選地，所述調(diào)度服務(wù)單元，還用于：

判斷所述關(guān)鍵字距離所述n個分片區(qū)間中的最大分片區(qū)間的上限是否小于一預(yù)設(shè)值；若小于，則輸出用于表示需要對所述存儲介質(zhì)進行擴容的信息。

本發(fā)明實施例中提供的一個或多個技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點：