[發明專利]一種基于鍵值對的橫向擴展的高性能存儲方法

在審

• 申請號: 201510060118.8
• 申請日: 2015-02-05
• 公開（公告）號: CN104618484A
• 公開（公告）日: 2015-05-13
• 發明（設計）人: 張錦輝;楚光慶;鄭磊
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及計算機存儲領域，具體涉及分布式存儲、存儲虛擬化、異步網絡通信、主流對象服務協議，具體的說就是一種基于鍵值對的橫向擴展的高性能存儲方法。

背景技術

隨著網絡應用的迅速發展，網絡信息數據量越來越大，PB?級別的海量數據存儲變得越來越重要。傳統意義的文件系統已不能滿足現有應用的大容量、高可靠性、高性能等要求，為滿足這些新要求，分布式文件系統應用和對象存儲得到了廣泛重視。

ceph文件系統是一個有著優越性能、高可靠性、可擴展性的分布式文件系統，且是一個?Linux?PB?級分布式文件系統。它有著以下幾種優勢：可以很容易地擴展到PB級容量、對多種工作負載有高性能、高可靠性。可以提供對象存儲、塊存儲和文件系統存儲三種功能。

現有的存儲主要是塊存儲和文件存儲這兩種存儲，也是兩種主流的存儲類型。塊存儲主要以SAN為主，它是千兆位速率的網絡，依托光纖通道(Fibre?Channel)為服務器和存儲設備之間的連接提供更高的吞吐能力、支持更遠的距離和更可靠的連通；文件存儲主要以NAS為主，NAS?網絡連接存儲-將儲存設備連接到現有網絡上，提供數據和文件服務。對象存儲系統（Object-Based?Storage?System）是綜合了NAS和SAN的優點，同時具有SAN的高速直接訪問和NAS的數據共享等優勢，提供了高可靠性、跨平臺性以及安全的數據共享的存儲體系結構。

libevent是一個事件觸發的網絡庫。ibevent包括事件管理、緩存管理、DNS、HTTP、緩存事件幾大部分。事件管理包括各種IO（socket）、定時器、信號等事件；緩存管理是指evbuffer功能；DNS是libevent提供的一個異步DNS查詢功能；HTTP是libevent的一個輕量級http實現，包括服務器和客戶端。

發明內容

針對目前技術發展的現有狀況，本發明提供了一種基于鍵值對的橫向擴展的高性能存儲方法。

本發明所述一種基于鍵值對的橫向擴展的高性能存儲方法，解決上述技術問題采用的技術方案如下：該高性能存儲方法是基于key/value的橫向擴展的高性能存儲方法；所使用到的設備包括：客戶端、服務器和存儲端，其主要步驟包括：接收與反饋數據、處理數據和隊列化數據；在對數據持久化操作時，選用橫向可擴展的存儲系統，形成一個橫向擴展的高性能對象存儲服務。

優選的，該高性能存儲方法基于ceph開源文件系統，讓其作為底層存儲系統。

優選的，所述高性能對象存儲服務是支持HTTP協議的存儲服務，包括對存儲數據的增加、修改、查看和刪除。

優選的，所述服務器是基于libevent庫的HTTP?服務器，主要接收來自客戶端的信息并且反饋信息給客戶端，并負責對數據進行基本處理以及對數據的存儲信息進行反饋。

優選的，所述服務器建立一個事件觸發機制，并基于HTTP?GET/POST?協議接收來自客戶端的信息并且反饋信息給客戶端。

優選的，所述服務器處理來自客戶端的信息，將來自客戶端的信息處理成一種對象存儲的信息。

優選的，所述對象存儲采用key/value形式。

優選的，該高性能存儲方法利用消息隊列異步處理數據傳送和存儲；當頻繁地向數據庫中插入數據，頻繁地向搜索引擎提交數據時，則采取消息隊列來異步插入。

本發明的一種基于鍵值對的橫向擴展的高性能存儲方法與現有技術相比具有的有益效果是：該高性能存儲方法設計新穎，采用的都是輕量級的庫，實施簡單；能夠以消息隊列來處理頻繁的網絡訪問，以及頻繁的數據更新；能夠很好地處理產生的數據遷移、負載平衡等問題，極大提高了系統存儲性能。

附圖說明

附圖1為所述高性能存儲方法的實現框圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參考附圖，對本發明所述一種基于鍵值對的橫向擴展的高性能存儲方法進一步詳細說明。