[發(fā)明專利]多源異構(gòu)訓練數(shù)據(jù)融合方法、裝置和設(shè)備

在審

• 申請?zhí)枺?/td>: 202110592669.4
• 申請日: 2021-05-28
• 公開（公告）號: CN113312428A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計）人: 徐慶堯;楊超;唐立文;侯翔;殷智勇;邢維艷;姜曙;席文雄;胥霖
• 申請（專利權(quán)）人: 中國人民解放軍戰(zhàn)略支援部隊航天工程大學
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/215;G06F16/182
• 代理公司: 長沙國科天河知識產(chǎn)權(quán)代理有限公司 43225
• 代理人: 邱軼

本申請涉及多源異構(gòu)訓練數(shù)據(jù)融合方法、裝置和設(shè)備，方法包括：采用搭建的標準化大數(shù)據(jù)匯聚共享平臺分別連接各個異構(gòu)數(shù)據(jù)源，分別接入各異構(gòu)數(shù)據(jù)源的軍事訓練數(shù)據(jù)；標準化大數(shù)據(jù)匯聚共享平臺為基于Hadoop分布式系統(tǒng)和HDFS分布式存儲系統(tǒng)構(gòu)建的大數(shù)據(jù)平臺；通過標準化大數(shù)據(jù)匯聚共享平臺對各軍事訓練數(shù)據(jù)進行清洗、去重與去噪的預處理；利用元數(shù)據(jù)映射方式，將預處理后的各軍事訓練數(shù)據(jù)映射到HDFS分布式存儲系統(tǒng)的規(guī)范的邏輯空間并存儲；通過標準化大數(shù)據(jù)匯聚共享平臺，根據(jù)需共享數(shù)據(jù)的部門、應(yīng)用和業(yè)務(wù)的數(shù)據(jù)共享請求以及相應(yīng)共享權(quán)限，分別以設(shè)定的數(shù)據(jù)共享方式傳輸各數(shù)據(jù)共享請求對應(yīng)請求共享的各軍事訓練數(shù)據(jù)。實現(xiàn)了高效的軍事訓練數(shù)據(jù)融合共享。

技術(shù)領(lǐng)域

本申請涉及軍事大數(shù)據(jù)處理與應(yīng)用技術(shù)領(lǐng)域，特別是涉及一種多源異構(gòu)訓練數(shù)據(jù)融合方法、裝置和設(shè)備。

背景技術(shù)

隨著軍隊信息化建設(shè)向縱深推進和以云計算、大數(shù)據(jù)、人工智能為代表的新技術(shù)的飛速發(fā)展，軍事訓練領(lǐng)域迎來了思想觀念上的變革和方法手段上的革新。數(shù)字化、網(wǎng)絡(luò)化程度不斷提升，軍事訓練活動中產(chǎn)生數(shù)據(jù)的種類日益增多且數(shù)量成倍增長，用大數(shù)據(jù)理念指導軍事訓練實踐，已經(jīng)成為各級對訓練規(guī)律認識、訓練效果評估、訓練效益評價和訓練質(zhì)量監(jiān)察必不可少的基礎(chǔ)支撐。

深入發(fā)掘訓練數(shù)據(jù)的潛在價值，分析大數(shù)據(jù)技術(shù)在軍事訓練中的應(yīng)用，積極探索推進軍事訓練大數(shù)據(jù)建設(shè)的對策措施，對于提高軍事訓練效益，推進軍事訓練創(chuàng)新發(fā)展具有十分重要的意義。在部隊信息化建設(shè)過程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟和人為因素等因素影響，導致在發(fā)展過程中積累了大量采用不同存儲方式的業(yè)務(wù)數(shù)據(jù)，包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡單的文件數(shù)據(jù)庫到復雜的網(wǎng)絡(luò)數(shù)據(jù)庫，它們構(gòu)成了企業(yè)的異構(gòu)數(shù)據(jù)源。然而，在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)在軍事訓練大數(shù)據(jù)應(yīng)用建設(shè)中，仍然存在著多源異構(gòu)訓練數(shù)據(jù)無法融合共享的技術(shù)問題。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種多源異構(gòu)訓練數(shù)據(jù)高效融合共享的多源異構(gòu)訓練數(shù)據(jù)融合方法、一種多源異構(gòu)訓練數(shù)據(jù)融合裝置、一種計算機設(shè)備以及一種標準化大數(shù)據(jù)匯聚共享平臺。

為了實現(xiàn)上述目的，本發(fā)明實施例采用以下技術(shù)方案：

一方面，本發(fā)明實施例提供一種多源異構(gòu)訓練數(shù)據(jù)融合方法，包括步驟：

采用搭建的標準化大數(shù)據(jù)匯聚共享平臺分別連接各個異構(gòu)數(shù)據(jù)源，分別接入各異構(gòu)數(shù)據(jù)源的軍事訓練數(shù)據(jù)；標準化大數(shù)據(jù)匯聚共享平臺為基于Hadoop分布式系統(tǒng)和HDFS分布式存儲系統(tǒng)構(gòu)建的大數(shù)據(jù)平臺，軍事訓練數(shù)據(jù)包括消息流式數(shù)據(jù)、結(jié)構(gòu)化的報表數(shù)據(jù)、屬性類數(shù)據(jù)、非結(jié)構(gòu)化的文本圖片數(shù)據(jù)以及視頻語音流式數(shù)據(jù)；

通過標準化大數(shù)據(jù)匯聚共享平臺對各軍事訓練數(shù)據(jù)進行清洗、去重與去噪的預處理；

利用元數(shù)據(jù)映射方式，將預處理后的各軍事訓練數(shù)據(jù)映射到HDFS分布式存儲系統(tǒng)的規(guī)范的邏輯空間并存儲；

通過標準化大數(shù)據(jù)匯聚共享平臺，根據(jù)需共享數(shù)據(jù)的部門、應(yīng)用和業(yè)務(wù)的數(shù)據(jù)共享請求以及相應(yīng)共享權(quán)限，分別以設(shè)定的數(shù)據(jù)共享方式傳輸各數(shù)據(jù)共享請求對應(yīng)請求共享的各軍事訓練數(shù)據(jù)。

另一方面，還提供一種多源異構(gòu)訓練數(shù)據(jù)融合裝置，包括：

數(shù)據(jù)接入模塊，用于采用搭建的標準化大數(shù)據(jù)匯聚共享平臺分別連接各個異構(gòu)數(shù)據(jù)源，分別接入各異構(gòu)數(shù)據(jù)源的軍事訓練數(shù)據(jù)；標準化大數(shù)據(jù)匯聚共享平臺為基于Hadoop分布式系統(tǒng)和HDFS分布式存儲系統(tǒng)構(gòu)建的大數(shù)據(jù)平臺，軍事訓練數(shù)據(jù)包括消息流式數(shù)據(jù)、結(jié)構(gòu)化的報表數(shù)據(jù)、屬性類數(shù)據(jù)、非結(jié)構(gòu)化的文本圖片數(shù)據(jù)以及視頻語音流式數(shù)據(jù)；

預處理模塊，用于通過標準化大數(shù)據(jù)匯聚共享平臺對各軍事訓練數(shù)據(jù)進行清洗、去重與去噪的預處理；

映射融合模塊，用于利用元數(shù)據(jù)映射方式，將預處理后的各軍事訓練數(shù)據(jù)映射到HDFS分布式存儲系統(tǒng)的規(guī)范的邏輯空間并存儲；