[發(fā)明專利]一種基于內(nèi)存映射的海量數(shù)據(jù)預(yù)處理方法

在審

• 申請?zhí)枺?/td>: 201410587559.9
• 申請日: 2014-10-28
• 公開（公告）號: CN104331446A
• 公開（公告）日: 2015-02-04
• 發(fā)明（設(shè)計）人: 竇小明;楊飛;吳曉蕊;譚佳琳;李亮
• 申請（專利權(quán)）人: 北京臨近空間飛行器系統(tǒng)工程研究所;中國運載火箭技術(shù)研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 核工業(yè)專利中心 11007
• 代理人: 高尚梅

1.一種基于內(nèi)存映射的海量數(shù)據(jù)預(yù)處理方法，其特征在于：它包括數(shù)據(jù)表生成模塊、海量數(shù)據(jù)快速導入模塊、海量數(shù)據(jù)快速預(yù)處理模塊及海量數(shù)據(jù)快速檢索模塊，其中，海量數(shù)據(jù)快速導入模塊中包含內(nèi)存映射子模塊。

2.如權(quán)利要求1所述的一種基于內(nèi)存映射的海量數(shù)據(jù)預(yù)處理方法，其特征在于：所述的數(shù)據(jù)表生成模塊的流程為：

(1)獲取航天器本次試驗信息，如型號、批次、試驗地點及試驗名稱等文本信息，分別檢索型號檢索獲表、批次檢索表及試驗地點檢索表獲取型號、批次、試驗地點ID信息；

(2)判斷上述ID信息是否非0，非0表示ID查詢正常，將其插入數(shù)據(jù)庫信息檢索表，并根據(jù)ID信息生成對應(yīng)且唯一的檢索信息即試驗ID；

(3)步驟(2)中，ID信息至少一個為0表示ID查詢異常，跳出數(shù)據(jù)表生成模塊；

(4)查詢數(shù)據(jù)庫配置信息，在配置信息中遍歷數(shù)據(jù)模版表的名稱及屬性，當表屬性為復(fù)制表時，記錄當前表名稱；

(5)遍歷數(shù)據(jù)模版表后獲得需要復(fù)制的數(shù)據(jù)表名，調(diào)用數(shù)據(jù)庫腳本復(fù)制表名、字符集、排序規(guī)則、字段數(shù)量、字段名稱等信息生成新表；

(6)查詢信息檢索表提取當次試驗檢索信息加入新表表名，表名格式為模版表名_檢索信息，新表表名生成后跳出數(shù)據(jù)表生成模塊。

3.如權(quán)利要求1所述的一種基于內(nèi)存映射的海量數(shù)據(jù)預(yù)處理方法，其特征在于：所述的海量數(shù)據(jù)快速導入模塊的流程為：

(1)獲取當次試驗數(shù)據(jù)在本地的存儲路徑，數(shù)據(jù)分類記錄在不同名稱的文本文件中，存儲在本地統(tǒng)一路徑文件架中；

(2)檢索數(shù)據(jù)庫配置信息中需要導入數(shù)據(jù)庫的文件名；

(3)判斷獲取的文件名是否為NULL，若文件名非NULL，表明應(yīng)導入數(shù)據(jù)庫的文件尚未導入完成，繼續(xù)執(zhí)行步驟5；

(4)步驟(3)中，若文件名為NULL，表明應(yīng)導入數(shù)據(jù)庫的文件已完成導入，退出海量數(shù)據(jù)快速導入模塊，為海量數(shù)據(jù)快速預(yù)處理模塊進行數(shù)據(jù)處理完成數(shù)據(jù)準備；

(5)檢索數(shù)據(jù)庫中文件名配置信息，遍歷表中文件名字段，若文件名與表中某字段內(nèi)容一致，則獲取該字段對應(yīng)的數(shù)據(jù)表名；

(6)步驟(5)中，若文件名與文件名配置信息表中所有字段均不一致，表明數(shù)據(jù)庫配置文件有誤，退出海量數(shù)據(jù)快速導入模塊，為海量數(shù)據(jù)快速預(yù)處理模塊進行數(shù)據(jù)處理完成數(shù)據(jù)準備；

(7)內(nèi)存映射子模塊通過步驟(1)、步驟(2)中獲取的文件存儲路徑及文件名，將文件中數(shù)據(jù)、分隔符、分段符等信息快速映射到本地內(nèi)存中，內(nèi)存操作速度遠大于文件I/O操作，從而為數(shù)據(jù)快速提取并插入數(shù)據(jù)庫提供基礎(chǔ)；

(8)根據(jù)指定分段符從內(nèi)存映射區(qū)域獲取一行包括數(shù)據(jù)、分隔符的數(shù)據(jù)信息，若獲取數(shù)據(jù)不為NULL，則根據(jù)指定分隔符提取當前行數(shù)據(jù)并依次插入對應(yīng)數(shù)據(jù)表中；

(9)步驟(8)中，若獲取數(shù)據(jù)為NULL，表明本次文件從內(nèi)存映射區(qū)域中已讀取完畢并全部插入對應(yīng)數(shù)據(jù)表，則退出海量數(shù)據(jù)快速導入模塊，為海量數(shù)據(jù)快速預(yù)處理模塊進行數(shù)據(jù)處理完成數(shù)據(jù)準備。