[發明專利]一種分布式數據存儲方法及裝置

有效

• 申請號: 201711298223.0
• 申請日: 2017-12-08
• 公開（公告）號: CN108052284B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 高敦橋;宋昭
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明提供了一種分布式數據存儲方法及裝置，其中，該方法包括在接收到對數據對象進行存儲的存儲指令時，調起預設的虛擬存儲區，然后接收數據對象被劃分后的數據塊，并將數據塊存儲至虛擬存儲區中。當數據對象的全部數據塊在虛擬存儲區中存儲后，獲取存儲在虛擬存儲區中的各數據塊的元信息。進而將獲取的元信息進行整合得到數據對象的索引信息，并利用數據對象的索引信息替換虛擬存儲區的索引信息，以完成數據對象的存儲操作。由此，本發明實施例在對數據對象進行存儲時，數據對象已經被劃分為多個數據塊，從而能夠實現同時并行的接收各個數據塊，并將接收到的各數據塊存儲至虛擬存儲區中，有效地提高了數據對象的存儲效率。

技術領域

本發明涉及計算機技術領域，特別是涉及一種分布式數據存儲方法及裝置。

背景技術

隨著移動互聯網、物聯網等應用的飛速發展，全球數據量出現了爆炸式增長。面對大規模的數據量，目前通常采用分布式數據存儲方式對大量數據進行存儲。在對大量數據進行分布式存儲時，由于數據量較大，因此需要有專門的模塊來管理上傳數據的元信息，但是對元信息進行有效地管理是一個相當復雜的過程。因此，如何在對數據進行存儲時有效地簡化元信息的處理邏輯以及提高數據接收、存儲速率，是一個亟待解決的技術問題。

此外，現有的對存儲數據進行復制、刪除數據的方式是直接對數據的內容進行復制和刪除，這使得存儲數據庫中同時保存有多份相同的數據內容，特別是在對所占內存較大的數據進行復制時，會造成內存資源的巨大浪費，不利于內存資源的有效利用。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的分布式數據存儲方法及裝置。

根據本發明的一方面，提供了一種分布式數據存儲方法，包括：接收到對數據對象進行存儲的存儲指令時，調起預設虛擬存儲區；接收所述數據對象被劃分后的數據塊，并將所述數據塊存儲至所述虛擬存儲區中；當所述數據對象的全部數據塊在所述虛擬存儲區中存儲后，獲取存儲在所述虛擬存儲區中的各數據塊的元信息；將獲取的元信息進行整合得到所述數據對象的索引信息，并利用所述數據對象的索引信息替換所述虛擬存儲區的索引信息，以完成所述數據對象的存儲操作。

可選地，在接收到對數據對象進行存儲的存儲指令之前，還包括：建立虛擬存儲區，并將所述虛擬存儲區對應的索引信息保存至索引數據庫中，所述虛擬存儲區由對所述數據對象進行存儲的存儲指令觸發調用。

可選地，所述接收所述數據對象被劃分后的數據塊，并將所述數據塊存儲至所述虛擬存儲區中，包括：利用不同服務器分別接收所述數據對象被劃分后各數據塊，并將接收的數據塊存儲至所述虛擬存儲區中，其中，所述不同服務器由服務器集群根據負載均衡原理為準備上傳的各數據塊分配。

可選地，所述接收所述數據對象被劃分后的數據塊，并將所述數據塊存儲至所述虛擬存儲區中，包括：依據被劃分后的各數據塊在所述數據對象中的位置次序，在所述虛擬存儲區中以存儲地址遞增的順序為各數據塊分配獨立的虛擬子存儲區；在接收到數據塊時，分析所述數據塊在所述數據對象中的位置，并將所述數據塊存儲至與其對應的虛擬子存儲區中，直到將所述數據對象的全部數據塊分別存儲至各自對應的虛擬子存儲區中。

可選地，所述接收所述數據對象被劃分后的數據塊，并將所述數據塊存儲至所述虛擬存儲區中，包括：在接收到所述數據對象的任一數據塊時，將該數據塊存儲至所述虛擬存儲區中，直到將所述數據對象的全部數據塊都存儲至虛擬存儲區中；獲取所述任一數據塊對應的元信息，并將獲取的元信息保存至索引數據庫中。

可選地，當所述數據對象的全部數據塊都存儲至虛擬存儲區中之后，還包括：依據各數據塊的元信息，對所述虛擬存儲區中各數據塊的位置順序進行調整，以使所述虛擬存儲區中各數據塊的位置順序對應于各數據塊在所述數據對象中的位置次序。

可選地，所述將獲取的元信息進行整合得到所述數據對象的索引信息，包括：將獲取的元信息依據各數據塊之間的關系進行整合，以得到所述數據對象的索引信息。