[發明專利]一種數據并行批量導入只讀查詢系統的方法及系統

有效

• 申請號: 201310201372.6
• 申請日: 2013-05-27
• 公開（公告）號: CN103294799A
• 公開（公告）日: 2013-09-11
• 發明（設計）人: 申林;薛繼龍;楊智;代亞非
• 申請（專利權）人: 北京大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/44
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

1.一種數據并行批量導入只讀查詢系統的方法，其步驟包括：

1）接收原始特征數據請求，并轉發到Hadoop進行處理；

2）根據節點映射規則在所述Haddoop上建立多個Map/Reduce任務并在每個reducer任務節點上生成特征數據的數據塊；

3）將所述數據塊放置到Hadoop的對應節點上，并通過只讀查詢系統并行讀取Hadoop上的對應節點上的數據塊。

2.如權利要求1所述的數據并行批量導入只讀查詢系統的方法，其特征在于，所述數據塊進行并行讀取的方法如下：

1）根據Hadoop上的驅動程序得到生成數據塊的數目以及對應存放的Hadoop節點，并轉發到只讀查詢系統的驅動程序；

2）根據所述數據塊的存放位置讀取對應數據，并按照數據塊頭部的位置信息，存儲到只讀查詢系統自身的節點下。

3.如權利要求1所述的數據并行批量導入只讀查詢系統的方法，其特征在于，在每個reducer任務節點上生成數據塊文件儲存格式為：數據塊索引文件和數據文件。

4.如權利要求1所述的數據并行批量導入只讀查詢系統的方法，其特征在于，所述步驟3）中并行讀取時，只讀查詢系統節點并行從Hadoop節點上讀取數據塊，并形成自己的數據副本，放置在只讀查詢系統節點的存儲目錄store中。

5.如權利要求1所述的數據并行批量導入只讀查詢系統的方法，其特征在于，所述步驟3）還包括對數據塊進行數據替換，當所有數據副本已經讀取完畢，則觸發所述只讀查詢系統驅動程序對新老版本數據塊進行替換，形成新的數據版本時等待所有副本都讀取完畢，再進行數據塊替換。

6.如權利要求5所述的數據并行批量導入只讀查詢系統的方法，其特征在于，所述數據塊替換方法為：當只讀查詢系統的驅動程序檢測到數據塊的讀取狀態為未讀狀態，則鎖定老版本數據塊；并將只讀查詢系統節點的工作目錄指向新版本數據的工作目錄將索引數據加載到內存并將老版本數據索引釋放后解鎖該老版本數據塊。

7.如權利要求5所述的數據并行批量導入只讀查詢系統的方法，其特征在于，當在運行過程中發現版本數據錯誤，則從新版本轉換為老版本。

8.如權利要求1-7任意一項所述的數據并行批量導入只讀查詢系統的方法，其特征在于，所述只讀查詢系統為Cassandra。

9.一種數據并行批量導入只讀查詢系統的系統，包括：線上查詢系統和hadoop框架，其特征在于，還包括：協調器，Hadoop驅動程序模塊與線上查詢系統驅動模塊，

所述Hadoop驅動程序模塊接收協調器的數據處理請求，并轉換成Map/Reduce任務；Map/Reduce處理的結果產生可以被線上系統直接讀取的帶有索引的數據塊；

所述線上查詢系統驅動程序模塊是協調器控制線上系統的接口，用于通知線上系統的每一個節點，從對應的Hadoop存儲節點上將數據塊并行讀取到線上系統的存儲文件夾下，并形成新的數據版本；

所述協調器用于接受并轉發所述查詢請求，控制模塊間數據處理的開始和結束。

10.如權利要求9所述的數據并行批量導入只讀查詢系統,其特征在于，當所有節點完成新數據版本的更新后，所述協調器通知將線上查詢系統驅動程序將工作版本的路徑重定向到新的版本路徑。