[發(fā)明專利]一種基于大數(shù)據(jù)的星載磁場數(shù)據(jù)處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010800766.3
• 申請日: 2020-08-11
• 公開（公告）號: CN111914031B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 孫樹全;杜愛民;趙琳;羅浩;張瑩;李智;馮曉
• 申請（專利權(quán)）人: 中國科學(xué)院地質(zhì)與地球物理研究所
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F16/182;G06F16/18;G06F16/14;G06F16/9537;H04B7/185;H04L29/08
• 代理公司: 北京眾達德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 梁凱

1.一種基于大數(shù)據(jù)的星載磁場數(shù)據(jù)處理系統(tǒng)，其特征在于，包括：

數(shù)據(jù)傳輸模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)存儲管理模塊、數(shù)據(jù)標(biāo)定模塊、數(shù)據(jù)應(yīng)用模塊，其中，

所述數(shù)據(jù)傳輸模塊，用于將從衛(wèi)星站接收的數(shù)據(jù)文件傳送給所述數(shù)據(jù)預(yù)處理模塊，其中，所述數(shù)據(jù)文件包括多個衛(wèi)星對應(yīng)的數(shù)據(jù)記錄，單個衛(wèi)星對應(yīng)的數(shù)據(jù)記錄包括所述衛(wèi)星的多條星載磁場數(shù)據(jù)、所述衛(wèi)星的輔助數(shù)據(jù)及所屬信息，所述星載磁場數(shù)據(jù)包括星上時間戳，所述所屬信息包括衛(wèi)星編號或設(shè)備編號；

所述數(shù)據(jù)預(yù)處理模塊，包括一個預(yù)處理管道和多個預(yù)處理節(jié)點，所述預(yù)處理管道用于接收所述數(shù)據(jù)文件，并基于負載均衡策略將所述數(shù)據(jù)文件內(nèi)的每條所述星載磁場數(shù)據(jù)分發(fā)給所述多個預(yù)處理節(jié)點，所述預(yù)處理節(jié)點，基于所述星上時間戳及所述所屬信息，對所述星載磁場數(shù)據(jù)進行預(yù)處理，經(jīng)過預(yù)處理后的所述星載磁場數(shù)據(jù)包括所述所屬信息和所述星上時間戳對應(yīng)的地面時間信息；

所述數(shù)據(jù)導(dǎo)入模塊，用于將所述預(yù)處理后的星載磁場數(shù)據(jù)導(dǎo)入所述數(shù)據(jù)存儲管理模塊；

所述數(shù)據(jù)標(biāo)定模塊，包括調(diào)度子模塊和多個標(biāo)定節(jié)點，調(diào)度子模塊，用于自動定時地啟動標(biāo)定處理任務(wù)，以使所述多個標(biāo)定節(jié)點，基于所述負載均衡策略從所述數(shù)據(jù)存儲管理模塊中，獲取所述預(yù)處理后的星載磁場數(shù)據(jù)及對應(yīng)的所述輔助數(shù)據(jù)進行標(biāo)定，將標(biāo)定后的所述星載磁場數(shù)據(jù)存入所述數(shù)據(jù)存儲管理模塊；

所述數(shù)據(jù)存儲管理模塊，包括：分布式數(shù)據(jù)庫和/或時間序列數(shù)據(jù)庫，所述分布式數(shù)據(jù)庫基于所述所屬信息和所述地面時間信息對所述預(yù)處理后的星載磁場數(shù)據(jù)及所述標(biāo)定后的星載磁場數(shù)據(jù)進行分區(qū)，所述時間序列數(shù)據(jù)庫基于時間的順序變化對所述預(yù)處理后的星載磁場數(shù)據(jù)及所述標(biāo)定后的星載磁場數(shù)據(jù)進行排序；

所述數(shù)據(jù)應(yīng)用模塊，基于所述數(shù)據(jù)存儲管理模塊中的所述預(yù)處理后的星載磁場數(shù)據(jù)和/或所述標(biāo)定后的星載磁場數(shù)據(jù)，輸出目標(biāo)服務(wù)。

2.如權(quán)利要求1所述的星載磁場數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)傳輸模塊包括：

位于地面接收站的發(fā)送模塊，用于從所述衛(wèi)星站接收所述數(shù)據(jù)文件，將所述數(shù)據(jù)文件劃分為多個第一數(shù)據(jù)子文件后，將每個所述第一數(shù)據(jù)子文件發(fā)送給接收模塊；

位于數(shù)據(jù)處理中心的所述接收模塊，用于接收每個所述第一數(shù)據(jù)子文件，并將所述第一數(shù)據(jù)子文件發(fā)送給所述預(yù)處理管道。

3.如權(quán)利要求2所述的星載磁場數(shù)據(jù)處理系統(tǒng)，其特征在于，

所述發(fā)送模塊，還用于每發(fā)送完一個所述第一數(shù)據(jù)子文件后，將所述第一數(shù)據(jù)子文件的屬性信息記錄到key-value數(shù)據(jù)庫，所述屬性信息包括文件名稱、大小、傳輸狀態(tài)，并在發(fā)送下一個所述第一數(shù)據(jù)子文件之前，對所述key-value數(shù)據(jù)庫進行查詢，以避免重復(fù)發(fā)送相同的第一數(shù)據(jù)子文件。

4.如權(quán)利要求1所述的星載磁場數(shù)據(jù)處理系統(tǒng)，其特征在于，

所述預(yù)處理節(jié)點，還用于根據(jù)所述所屬信息和時間信息，將所述預(yù)處理后的星載磁場數(shù)據(jù)存儲到對應(yīng)的第二數(shù)據(jù)子文件中，其中，

所述時間信息包括所述星上時間戳或所述地面時間信息，同一個所述第二數(shù)據(jù)子文件中存儲的各條所述預(yù)處理后的星載磁場數(shù)據(jù)攜帶的所述所屬信息相同，且所述時間信息屬于同一預(yù)設(shè)時間段，并基于所述時間信息對每個所述第二數(shù)據(jù)子文件內(nèi)的多條所述預(yù)處理后的星載磁場數(shù)據(jù)進行時間排序后，進行去重處理。

5.如權(quán)利要求1所述的星載磁場數(shù)據(jù)處理系統(tǒng)，其特征在于，

所述預(yù)處理節(jié)點，還基于預(yù)設(shè)數(shù)據(jù)格式對所述星載磁場數(shù)據(jù)的數(shù)據(jù)格式進行有效性檢查，其中，

當(dāng)所述星載磁場數(shù)據(jù)存在缺失字段時，對所述星載磁場數(shù)據(jù)進行所述缺失字段的填充；

當(dāng)所述星載磁場數(shù)據(jù)不滿足所述預(yù)設(shè)數(shù)據(jù)格式時，對所述星載磁場數(shù)據(jù)進行刪除。

6.如權(quán)利要求1所述的星載磁場數(shù)據(jù)處理系統(tǒng)，其特征在于，所述分布式數(shù)據(jù)庫包括高采樣率分布式數(shù)據(jù)庫和低采樣率分布式數(shù)據(jù)庫。