[發(fā)明專利]一種基于大數(shù)據(jù)的星載磁場(chǎng)數(shù)據(jù)處理系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010800766.3
• 申請(qǐng)日: 2020-08-11
• 公開（公告）號(hào): CN111914031B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 孫樹全;杜愛民;趙琳;羅浩;張瑩;李智;馮曉
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院地質(zhì)與地球物理研究所
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/2458;G06F16/182;G06F16/18;G06F16/14;G06F16/9537;H04B7/185;H04L29/08
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 梁凱

本發(fā)明公開了一種基于大數(shù)據(jù)的星載磁場(chǎng)數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)傳輸模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)存儲(chǔ)管理模塊、數(shù)據(jù)標(biāo)定模塊、數(shù)據(jù)應(yīng)用模塊，通過(guò)數(shù)據(jù)傳輸模塊將地面接收的包括星載磁場(chǎng)數(shù)據(jù)的數(shù)據(jù)文件傳送給具有多個(gè)預(yù)處理節(jié)點(diǎn)的數(shù)據(jù)預(yù)處理模塊，對(duì)星載磁場(chǎng)數(shù)據(jù)進(jìn)行并行預(yù)處理，使預(yù)處理后的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫(kù)和時(shí)間序列數(shù)據(jù)庫(kù)中，通過(guò)任務(wù)調(diào)度功能定時(shí)自動(dòng)啟動(dòng)數(shù)據(jù)標(biāo)定處理任務(wù)，基于大數(shù)據(jù)的并行處理框架進(jìn)行標(biāo)定處理，加快了自動(dòng)標(biāo)定的時(shí)間，標(biāo)定后的數(shù)據(jù)仍存回分布式數(shù)據(jù)庫(kù)和時(shí)間序列數(shù)據(jù)庫(kù)中，為數(shù)據(jù)應(yīng)用模塊提供數(shù)據(jù)星載磁場(chǎng)數(shù)據(jù)，應(yīng)用處理包含數(shù)據(jù)查詢、可視化、處理、結(jié)果展示等功能，為用戶提供了數(shù)據(jù)處理挖掘和探索的有效途徑。

技術(shù)領(lǐng)域

本發(fā)明涉及磁數(shù)據(jù)處理的技術(shù)領(lǐng)域，尤其涉及一種基于大數(shù)據(jù)的星載磁場(chǎng)數(shù)據(jù)處理系統(tǒng)。

背景技術(shù)

目前已有越來(lái)越多的衛(wèi)星配置了磁場(chǎng)測(cè)量設(shè)備，特別是低軌衛(wèi)星中的高采樣率磁場(chǎng)傳感器設(shè)備每天24小時(shí)長(zhǎng)期運(yùn)行，由于采樣率高，每天將產(chǎn)生大量的磁場(chǎng)數(shù)據(jù)，以每顆星配置一個(gè)128Hz采樣率的磁場(chǎng)傳感器為例，多個(gè)探頭同時(shí)采集時(shí)每幀的數(shù)據(jù)量可達(dá)60多個(gè)字節(jié)，因此每秒的數(shù)據(jù)量約為7.5KB，每天的數(shù)據(jù)量約為633MB的數(shù)據(jù)量，24顆小衛(wèi)星每天產(chǎn)生的數(shù)量將超過(guò)15GB，再加上衛(wèi)星姿態(tài)等多種輔助數(shù)據(jù)，長(zhǎng)期運(yùn)行后，需要處理的星載磁數(shù)據(jù)量將是非常龐大。

因此，采用常規(guī)的磁場(chǎng)數(shù)據(jù)處理方式對(duì)如此龐大的數(shù)據(jù)量進(jìn)行處理，將存在效率極低的問(wèn)題，將不能滿足自動(dòng)處理要求，需要開發(fā)一種新的數(shù)據(jù)處理系統(tǒng)，以處理龐大的星載磁數(shù)據(jù)。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例通過(guò)提供一種基于大數(shù)據(jù)的星載磁場(chǎng)數(shù)據(jù)處理系統(tǒng)，解決了現(xiàn)有技術(shù)中隨著星載磁數(shù)據(jù)量的日益增大，常規(guī)的磁場(chǎng)數(shù)據(jù)處理方式存在的效率低的問(wèn)題。

本申請(qǐng)通過(guò)本申請(qǐng)的一實(shí)施例提供如下技術(shù)方案：

一種基于大數(shù)據(jù)的星載磁場(chǎng)數(shù)據(jù)處理系統(tǒng)，包括：數(shù)據(jù)傳輸模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)存儲(chǔ)管理模塊、數(shù)據(jù)標(biāo)定模塊、數(shù)據(jù)應(yīng)用模塊，其中，所述數(shù)據(jù)傳輸模塊，用于將從衛(wèi)星站接收的數(shù)據(jù)文件傳送給所述數(shù)據(jù)預(yù)處理模塊，其中，所述數(shù)據(jù)文件包括多個(gè)衛(wèi)星對(duì)應(yīng)的數(shù)據(jù)記錄，單個(gè)衛(wèi)星對(duì)應(yīng)的數(shù)據(jù)記錄包括所述衛(wèi)星的多條星載磁場(chǎng)數(shù)據(jù)、所述衛(wèi)星的輔助數(shù)據(jù)及所屬信息，所述星載磁場(chǎng)數(shù)據(jù)包括星上時(shí)間戳，所述所屬信息包括衛(wèi)星編號(hào)或設(shè)備編號(hào)；所述數(shù)據(jù)預(yù)處理模塊，包括一個(gè)預(yù)處理管道和多個(gè)預(yù)處理節(jié)點(diǎn)，所述預(yù)處理管道用于接收所述數(shù)據(jù)文件，并基于負(fù)載均衡策略將所述數(shù)據(jù)文件內(nèi)的所述每條星載磁場(chǎng)數(shù)據(jù)分發(fā)給所述多個(gè)預(yù)處理節(jié)點(diǎn)，所述預(yù)處理節(jié)點(diǎn)，基于所述星上時(shí)間戳及所述所屬信息，對(duì)所述星載磁場(chǎng)數(shù)據(jù)進(jìn)行預(yù)處理，經(jīng)過(guò)預(yù)處理后的所述星載磁場(chǎng)數(shù)據(jù)包括所述所屬信息和所述星上時(shí)間戳對(duì)應(yīng)的地面時(shí)間信息；所述數(shù)據(jù)導(dǎo)入模塊，用于將所述預(yù)處理后的星載磁場(chǎng)數(shù)據(jù)導(dǎo)入所述數(shù)據(jù)存儲(chǔ)管理模塊；所述數(shù)據(jù)標(biāo)定模塊，包括調(diào)度子模塊和多個(gè)標(biāo)定節(jié)點(diǎn)，調(diào)度子模塊，用于自動(dòng)定時(shí)地啟動(dòng)標(biāo)定處理任務(wù)，以使所述多個(gè)標(biāo)定節(jié)點(diǎn)，基于所述負(fù)載均衡策略從所述數(shù)據(jù)存儲(chǔ)管理模塊中，獲取所述預(yù)處理后的星載磁場(chǎng)數(shù)據(jù)及對(duì)應(yīng)的所述輔助數(shù)據(jù)進(jìn)行標(biāo)定，將標(biāo)定后的所述星載磁場(chǎng)數(shù)據(jù)存入所述數(shù)據(jù)存儲(chǔ)管理模塊；所述數(shù)據(jù)存儲(chǔ)管理模塊，包括：分布式數(shù)據(jù)庫(kù)和/或時(shí)間序列數(shù)據(jù)庫(kù)，所述分布式數(shù)據(jù)庫(kù)基于所述所屬信息和所述地面時(shí)間信息對(duì)所述預(yù)處理后的星載磁場(chǎng)數(shù)據(jù)及所述標(biāo)定后的星載磁場(chǎng)數(shù)據(jù)進(jìn)行分區(qū)，所述時(shí)間序列數(shù)據(jù)庫(kù)基于時(shí)間的順序變化對(duì)所述預(yù)處理后的星載磁場(chǎng)數(shù)據(jù)及所述標(biāo)定后的星載磁場(chǎng)數(shù)據(jù)進(jìn)行排序；所述數(shù)據(jù)應(yīng)用模塊，基于所述數(shù)據(jù)存儲(chǔ)管理模塊中的所述預(yù)處理后的星載磁場(chǎng)數(shù)據(jù)和/或所述標(biāo)定后的星載磁場(chǎng)數(shù)據(jù)，輸出目標(biāo)服務(wù)。

在一個(gè)實(shí)施例中，所述數(shù)據(jù)傳輸模塊包括：位于地面接收站的發(fā)送模塊，用于從所述衛(wèi)星站接收所述數(shù)據(jù)文件，將所述數(shù)據(jù)文件劃分為多個(gè)第一數(shù)據(jù)子文件后，將每個(gè)所述第一數(shù)據(jù)子文件發(fā)送給接收模塊；位于數(shù)據(jù)處理中心的所述接收模塊，用于接收所述每個(gè)第一數(shù)據(jù)子文件，并將所述第一數(shù)據(jù)子文件發(fā)送給所述預(yù)處理管道。