[發明專利]分布式數據讀寫方法和系統

在審

• 申請號: 201811505510.9
• 申請日: 2018-12-10
• 公開（公告）號: CN111290700A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 張楠
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 張靖琳

本發明實施例提供一種分布式數據寫入方法，包括：獲取m個分片節點；獲取n個數據，每個數據包含對應的第一特征值；對n個數據的第一特征值分別進行預處理以得到各個數據的第二特征值，n個數據中與相同的第二特征值對應的數據連續分布；基于預設算法對數據的第二特征值進行邏輯運算，輸出運算結果；根據運算結果將數據映射到對應的分片節點，以將n個數據分片存儲到m個分片節點，其中，n和m是不為零的自然數，同時達到數據的順序讀寫和均勻分布的目的。本發明同時提供一種分布式數據讀取方法和系統。

技術領域

本發明涉及計算機技術領域，具體涉及一種分布式數據讀寫方法和系統。

背景技術

隨著互聯網業務的高速發展，越來越多的存儲服務器面臨著海量存儲、高并發訪問、低延遲等挑戰。傳統的網絡存儲系統采用集中式數據庫存儲數據，當系統面臨高并發數據訪問的時候，會導致訪問的延遲增大、吞吐下降，嚴重時會導致數據庫宕機，無法滿足業務方的需求。

隨著存儲設備性能的不斷提升和網絡技術的快速普及，分布式存儲系統的發展越來越受到重視。分布式存儲系統即將數據分散存儲在多臺設備上。分布式存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息。它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

現有技術中的分布式數據存儲方法，其原理主要是：對于一個文件，將該文件劃分為多個分片，將該文件的分片信息以元數據的形式存儲在服務器中。分片信息可以包括分片的個數、名稱、存儲位置等。在讀取數據時，客戶端需要向存儲元數據的服務器發送獲取分片信息的請求，根據存儲元數據的服務器返回的響應，再確定需要讀取的分片。最后根據分片的位置信息，向各分片所在的實際存儲節點讀取相應的文件數據。

目前，針對分布式存儲系統的數據分片的解決方案主要有以下兩種：

如圖1所示，為現有的一種分布式存儲系統的數據分片方法。其中，接入節點110用于從應用服務器APPServer獲得n個數據，寫入節點120用于根據哈希算法(Hash)將n個數據寫入分布式存儲系統130，分布式存儲系統130包括多個獨立存儲設備，如圖中1的分片A、分片B以及分片C。哈希算法先對n個數據的主鍵進行哈希運算得到哈希值，然后根據哈希值將n個數據映射到對應的分片中。如圖1以50個數據為例，這種方法得到的分片數據均勻分布，但是缺點是數據之間沒有順序，不適合順序讀寫。

如圖2所示，為現有的另一種分布式存儲系統的數據分片方法。其中，接入節點210用于從應用服務器APPServer獲取n個數據，寫入節點220用于根據排序的方法將n個數據寫入分布式存儲系統230，分布式存儲系統230包括多個獨立存儲設備，如圖2中的分片A、分片B以及分片C。排序方法首先在每個分片上設置用于存放相同大小的號段區間，然后根據接收到的數據按照最左側字節的字典順序排序，將位于同一號段區間的數據放入相同的分片。如圖2以50個數據為例，將第1-3條數據和第10-39條數據放入分片A，將第4-6條數據和第40-50條數據放入分片B，將第7-9條數據放入分片C。這種方法可以得到有序的分片數據，但是缺點是數據分布不均勻，當系統面臨大量數據訪問時，可能存在熱點問題。

因此，發明人發現，上述的分片方法均存在不能有效處理大數據量的順序讀寫和均勻分布的問題。

發明內容

有鑒于此，本發明實施例提供分布式數據讀寫方法和系統，可同時實現數據的順序讀寫和均勻分布。

根據本發明實施例的第一方面，提供一種分布式數據寫入方法，包括：獲取m個分片節點；獲取n個數據，每個數據包含對應的第一特征值；對所述n個數據的第一特征值分別進行預處理以得到各個所述數據的第二特征值，所述n個數據中與相同的所述第二特征值對應的所述數據連續分布；基于預設算法對所述數據的第二特征值進行邏輯運算，輸出運算結果；根據所述運算結果將所述數據映射到對應的分片節點，以將所述n個數據分片存儲到所述m個分片節點，其中，所述n和m是不為零的自然數。