[發(fā)明專利]一種基于LevelDB的海量數(shù)據(jù)離線批量加載方法

在審

• 申請?zhí)枺?/td>: 202011558077.2
• 申請日: 2020-12-25
• 公開（公告）號: CN112328547A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 馮凌峰
• 申請（專利權(quán)）人: 馮凌峰
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/25;G06F8/61
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 程化銘

1.一種基于LevelDB的海量數(shù)據(jù)離線批量加載（BulkLoad）方法，其步驟如下：

步驟1. 使用Mapreduce將數(shù)據(jù)文件轉(zhuǎn)換為SST文件

步驟1.1. 實現(xiàn)SST文件的輸出類SstOutputFormat,繼承于基類FileOutputFormat；實現(xiàn)基類FileOutputFormat的抽象方法getRecordWriter，返回一個RecordWriter對象，用于SST格式文件的輸出；返回該對象時，使用LevelDB的寫數(shù)據(jù)至磁盤的LogWriter對象重寫RecordWriter的write和close方法；

步驟1.2. Map階段：根據(jù)輸入數(shù)據(jù)，調(diào)用LevelDB的K-V組織方式，封裝K-V，并作為Map階段的輸出；

步驟1.3. Reduce階段：實現(xiàn)K-V比較器，對Map階段傳遞過來的K-V進行排序，并將有序的K-V寫到輸出流；

步驟1.4. 設(shè)置MapReduce JOB信息，根據(jù)輸入數(shù)據(jù)的大小估算Reduce的個數(shù)，每個Reduce數(shù)據(jù)大小為SST文件的大小；

步驟2：生成LevelDB的元數(shù)據(jù)文件

步驟2.1. 生成CURRENT文件：批量生成.sst文件，所有的.sst文件的層級均默認設(shè)置為7，批量離線入庫的.sst文件無需進行Compaction；同時，一個DB的MANIFEST僅存在一個文件MANIFEST-0，CURRENT永遠指向MANIFEST-0；

步驟2.2. 生成MANIFEST文件：配置MapReduce作業(yè)時，根據(jù)DB定義全局變量MapString, MultimapInteger, FileMetaData（MapDB名稱, Multimap文件索引, 文件元數(shù)據(jù)信息），記錄每個DB的文件元數(shù)據(jù)信息；DB的MapReduce作業(yè)完成后，將對應(yīng)的MultimapInteger, FileMetaData對象刷入MANIFEST文件中；

步驟3：BulkLoad實現(xiàn)DB的加載：將生成的數(shù)據(jù)文件和元數(shù)據(jù)文件移動到指定的LevelDB目錄中，生成一個LevelDB的DB實例。