[發(fā)明專利]基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210648201.7
• 申請(qǐng)日: 2022-06-09
• 公開（公告）號(hào): CN114936224A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 朱洪濤;朱磊;陶捷;王志勇;吳維軍;張苗苗
• 申請(qǐng)（專利權(quán)）人: 江西日月明測(cè)控科技股份有限公司
• 主分類號(hào): G06F16/2453
• 分類號(hào): G06F16/2453;G06F16/2455;G06F16/27
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 何世磊

1.一種基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)，其特征在于，包括數(shù)據(jù)采集模塊以及數(shù)據(jù)處理模塊：

所述數(shù)據(jù)采集模塊，用于采集各軌檢設(shè)備的當(dāng)前軌檢數(shù)據(jù)；

所述數(shù)據(jù)處理模塊，包括數(shù)據(jù)對(duì)齊單元以及數(shù)據(jù)處理單元，所述數(shù)據(jù)對(duì)齊單元用于利用歷史軌檢數(shù)據(jù)對(duì)各所述當(dāng)前軌檢數(shù)據(jù)進(jìn)行局部插值及壓縮，以實(shí)現(xiàn)所述歷史軌檢數(shù)據(jù)和各所述當(dāng)前軌檢數(shù)據(jù)的特征點(diǎn)匹配，進(jìn)而得到數(shù)據(jù)對(duì)齊的軌檢數(shù)據(jù)；

所述數(shù)據(jù)處理單元用于將所述數(shù)據(jù)對(duì)齊的軌檢數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，以得到多組預(yù)處理的軌檢數(shù)據(jù)，并對(duì)所述多組預(yù)處理的軌檢數(shù)據(jù)進(jìn)行分布式處理，以判斷所述數(shù)據(jù)對(duì)齊的軌檢數(shù)據(jù)是否符合預(yù)設(shè)要求，若所述數(shù)據(jù)對(duì)齊的軌檢數(shù)據(jù)符合預(yù)設(shè)要求，則生成對(duì)應(yīng)的數(shù)據(jù)報(bào)表，以實(shí)現(xiàn)用戶與各所述軌檢設(shè)備的信息交互。

2.根據(jù)權(quán)利要求1所述的基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)，其特征在于，所述基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)還包括數(shù)據(jù)庫支持模塊，所述數(shù)據(jù)庫支持模塊用于根據(jù)利用各軌檢設(shè)備所獲取的軌檢數(shù)據(jù)生成多個(gè)軌檢臺(tái)賬數(shù)據(jù)庫、以及根據(jù)用戶權(quán)限生成多個(gè)權(quán)限管理數(shù)據(jù)庫，所述多個(gè)軌檢臺(tái)賬數(shù)據(jù)庫至少包括平面曲線數(shù)據(jù)庫、豎曲線數(shù)據(jù)庫、CP3數(shù)據(jù)庫以及軌枕信息數(shù)據(jù)庫，所述多個(gè)權(quán)限管理數(shù)據(jù)庫至少包括規(guī)范管理數(shù)據(jù)庫。

3.根據(jù)權(quán)利要求1所述的基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)，其特征在于，所述數(shù)據(jù)處理模塊還包括文件存儲(chǔ)單元，所述文件存儲(chǔ)單元用于將小于預(yù)設(shè)存儲(chǔ)大小的文件按照所占內(nèi)存空間進(jìn)行均勻分布，以使合并后的文件符合預(yù)設(shè)的數(shù)據(jù)塊最大閾值。

4.根據(jù)權(quán)利要求1所述的基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)，其特征在于，所述文件存儲(chǔ)單元具體用于：

當(dāng)接收到文件存儲(chǔ)請(qǐng)求時(shí)，初始化數(shù)據(jù)隊(duì)列、并創(chuàng)建多個(gè)臨時(shí)隊(duì)列、多個(gè)合并隊(duì)列以及多個(gè)文件信息映射表，其中，所述臨時(shí)隊(duì)列的個(gè)數(shù)小于所述合并隊(duì)列的個(gè)數(shù)；

獲取當(dāng)前上傳的文件，并比較所述當(dāng)前上傳的文件的存儲(chǔ)大小與所述臨時(shí)隊(duì)列的剩余存儲(chǔ)空間，若所述臨時(shí)隊(duì)列的剩余存儲(chǔ)空間大于所述當(dāng)前上傳的文件的存儲(chǔ)大小，則將所述當(dāng)前上傳的文件存儲(chǔ)到所述臨時(shí)隊(duì)列中、并查看所述文件信息映射表中是否存在所述當(dāng)前上傳的文件；

若所述文件信息映射表中存在所述當(dāng)前上傳的文件，則判斷所述臨時(shí)隊(duì)列中所有文件所占空間是否達(dá)到所述臨時(shí)隊(duì)列的預(yù)設(shè)閾值空間的第一閾值；

若所述臨時(shí)隊(duì)列中所有文件所占空間達(dá)到所述臨時(shí)隊(duì)列的預(yù)設(shè)閾值空間的第一閾值，則將所述臨時(shí)隊(duì)列中所有文件進(jìn)行合并，直到達(dá)到所述臨時(shí)隊(duì)列的預(yù)設(shè)閾值空間，得到所述臨時(shí)隊(duì)列所對(duì)應(yīng)的合并隊(duì)列；

找到所述臨時(shí)隊(duì)列中所占存儲(chǔ)空間最大的文件，并判斷所述所占存儲(chǔ)空間最大的文件的存儲(chǔ)大小是否大于所述臨時(shí)隊(duì)列的預(yù)設(shè)閾值空間的第二閾值；

若所述所占存儲(chǔ)空間最大的文件的存儲(chǔ)大小大于所述臨時(shí)隊(duì)列的預(yù)設(shè)閾值空間的第二閾值，則將所述當(dāng)前上傳的文件存放在所述臨時(shí)隊(duì)列所對(duì)應(yīng)的合并隊(duì)列中，并在其他的臨時(shí)隊(duì)列中尋找友好文件，并將尋找到的所有友好文件均存入所述臨時(shí)隊(duì)列所對(duì)應(yīng)的合并隊(duì)列中進(jìn)行文件打包上傳。

5.根據(jù)權(quán)利要求4所述的基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)，其特征在于，所述文件存儲(chǔ)單元還用于：

若所述所占存儲(chǔ)空間最大的文件的存儲(chǔ)大小不大于所述臨時(shí)隊(duì)列的預(yù)設(shè)閾值空間的第二閾值，則持續(xù)向所述臨時(shí)隊(duì)列中上傳文件，直到所述臨時(shí)隊(duì)列中所有文件所占空間大于等于所述臨時(shí)隊(duì)列的預(yù)設(shè)閾值空間的第二閾值；

將所述當(dāng)前上傳的文件存放在所述臨時(shí)隊(duì)列所對(duì)應(yīng)的合并隊(duì)列中，并在其他的臨時(shí)隊(duì)列中尋找友好文件，并將尋找到的所有友好文件均存入所述臨時(shí)隊(duì)列所對(duì)應(yīng)的合并隊(duì)列中進(jìn)行文件打包上傳。

6.根據(jù)權(quán)利要求1所述的基于Hadoop的軌檢數(shù)據(jù)服務(wù)系統(tǒng)，其特征在于，所述數(shù)據(jù)對(duì)齊單元具體用于：

在所述歷史軌檢數(shù)據(jù)和各所述當(dāng)前軌檢數(shù)據(jù)中給定兩個(gè)等時(shí)間間隔的相同特征序列，并計(jì)算出兩所述相同特征序列之間任意兩點(diǎn)的距離，以得到兩所述相同特征序列的距離矩陣；

利用動(dòng)態(tài)規(guī)劃法計(jì)算出兩所述相同特征序列的距離矩陣的最優(yōu)規(guī)劃路徑，根據(jù)所述最優(yōu)規(guī)劃路徑計(jì)算出兩所述相同特征序列的最小動(dòng)態(tài)時(shí)間規(guī)整距離，以使兩所述相同特征序列進(jìn)行數(shù)據(jù)對(duì)齊。