[發(fā)明專利]一種交互式建模分析算子數(shù)據(jù)交換方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010126140.9
• 申請(qǐng)日: 2020-02-28
• 公開（公告）號(hào): CN111427845B
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計(jì)）人: 湯國防;張寒雪;姚尚;胡長(zhǎng)城;高瑞明;閆雙平;閆永恒
• 申請(qǐng)（專利權(quán)）人: 中國電子科技集團(tuán)公司第十五研究所
• 主分類號(hào): G06F16/13
• 分類號(hào): G06F16/13;G06F16/16;G06F16/81;H04L67/06
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 李微微

本發(fā)明公開了一種交互式建模分析算子數(shù)據(jù)交換方法，針對(duì)交互式建模分析平臺(tái)算子間數(shù)據(jù)交換在應(yīng)對(duì)大數(shù)據(jù)量時(shí)存在數(shù)據(jù)內(nèi)容龐大、數(shù)據(jù)交換傳輸效率低的問題，本發(fā)明提出的一種交互式建模分析算子數(shù)據(jù)交換方法，一方面通過設(shè)計(jì)基于“數(shù)據(jù)配置文件+數(shù)據(jù)集文件”作為數(shù)據(jù)交換數(shù)據(jù)文件介質(zhì)，實(shí)現(xiàn)了對(duì)交換數(shù)據(jù)中的冗余信息的去除，極大的降低了數(shù)據(jù)交換文件的大小；另一方面構(gòu)建基于FTP服務(wù)的高性能的數(shù)據(jù)交換裝置，實(shí)現(xiàn)算子間的輸入、輸出數(shù)據(jù)集中存儲(chǔ)交換；通過上述方法能夠顯著提高算子間的數(shù)據(jù)傳輸交換效率，適用于武器裝備試驗(yàn)、大數(shù)據(jù)科學(xué)計(jì)算等海量數(shù)據(jù)建模分析應(yīng)用場(chǎng)景。

技術(shù)領(lǐng)域

本發(fā)明屬于交互式建模技術(shù)領(lǐng)域，具體涉及一種交互式建模分析算子數(shù)據(jù)交換方法。

背景技術(shù)

隨著大數(shù)據(jù)、機(jī)器學(xué)習(xí)研究和工程應(yīng)用，構(gòu)建交互式建模分析平臺(tái)已經(jīng)成為支撐數(shù)據(jù)靈活分析應(yīng)用的有效途徑。在實(shí)際工程應(yīng)用中，如武器試驗(yàn)數(shù)據(jù)處理、工業(yè)智能制造等領(lǐng)域，數(shù)據(jù)特征多、數(shù)據(jù)規(guī)模大、數(shù)據(jù)網(wǎng)絡(luò)間傳輸交換成為制約交數(shù)據(jù)分析計(jì)算性能的主要瓶頸。通常采用基于SOA的XML文件、基于REST服務(wù)的數(shù)據(jù)流等方式進(jìn)行數(shù)據(jù)交換方式，當(dāng)數(shù)據(jù)特征多達(dá)數(shù)十個(gè)、數(shù)據(jù)記錄達(dá)到千萬乃至數(shù)億以上量級(jí)時(shí)，XML文件或REST服務(wù)數(shù)據(jù)流規(guī)模達(dá)數(shù)十GB，數(shù)據(jù)文件或數(shù)據(jù)流極為臃腫龐大，算子間通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換時(shí)產(chǎn)生非常大的時(shí)間消耗，嚴(yán)重影響數(shù)據(jù)交換效率和整個(gè)數(shù)據(jù)處理過程的執(zhí)行效率。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提供一種交互式建模分析算子數(shù)據(jù)交換方法，可降低數(shù)據(jù)交換文件大小，提高交換效率。

一種交互式建模分析算子數(shù)據(jù)交換方法，構(gòu)建數(shù)據(jù)交換裝置、數(shù)據(jù)交換配置文件和數(shù)據(jù)交換接口組件，其中：

數(shù)據(jù)交換配置文件用于描述交互式建模分析算子的輸入數(shù)據(jù)配置和輸出數(shù)據(jù)配置，包括數(shù)據(jù)名稱、數(shù)據(jù)屬性標(biāo)簽、數(shù)據(jù)格式標(biāo)簽、文件路徑及數(shù)據(jù)文件名稱；

數(shù)據(jù)交換接口組件包含數(shù)據(jù)下載模塊、數(shù)據(jù)上傳模塊、數(shù)據(jù)集文件讀寫模塊和數(shù)據(jù)交換裝置訪問配置文件；

當(dāng)交互式建模分析算子根據(jù)其輸入數(shù)據(jù)配置文件獲取算子的輸入數(shù)據(jù)時(shí)，需通過數(shù)據(jù)交換接口組件獲取數(shù)據(jù)，具體方法步驟為：

101：交互式建模分析算子讀取輸入數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)交換配置文件，將數(shù)據(jù)交換配置文件字符串作為參數(shù)傳遞給數(shù)據(jù)交換接口組件；

102：數(shù)據(jù)交換接口組件的數(shù)據(jù)下載模塊解析數(shù)據(jù)交換配置文件字符串中的配置信息，得到對(duì)應(yīng)的數(shù)據(jù)名稱、數(shù)據(jù)屬性標(biāo)簽、數(shù)據(jù)格式標(biāo)簽、文件路徑、數(shù)據(jù)集文件名稱；

103：數(shù)據(jù)交換接口組件的數(shù)據(jù)下載模塊根據(jù)數(shù)據(jù)交換裝置訪問配置文件存儲(chǔ)的數(shù)據(jù)交換裝置的FTP服務(wù)地址，以及數(shù)據(jù)交換配置文件的文件路徑、數(shù)據(jù)集文件名稱，按照“FTP服務(wù)地址+相對(duì)文件路徑+數(shù)據(jù)集文件名稱”為目標(biāo)文件發(fā)起FTP下載請(qǐng)求，從數(shù)據(jù)交換裝置下載獲取數(shù)據(jù)文件；

104：數(shù)據(jù)交換接口組件的數(shù)據(jù)集文件讀寫模塊根據(jù)數(shù)據(jù)屬性標(biāo)簽、數(shù)據(jù)格式標(biāo)簽，按順序從數(shù)據(jù)集文件中讀取二進(jìn)制數(shù)據(jù)，并轉(zhuǎn)換為對(duì)應(yīng)格式的數(shù)據(jù)變量，全部數(shù)據(jù)讀取完成后，將全部數(shù)據(jù)封裝為完整的數(shù)據(jù)集合變量；

105：數(shù)據(jù)交換接口組件向交互式建模分析算子返回?cái)?shù)據(jù)集合變量，作為交互式建模分析算子可處理的輸入數(shù)據(jù)。

較佳的，當(dāng)交互式建模分析算子完成數(shù)據(jù)計(jì)算后，所得到的輸出數(shù)據(jù)通過數(shù)據(jù)交換接口組件進(jìn)行數(shù)據(jù)集文件封裝和上傳，同時(shí)得到輸出數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)交換配置文件，具體方法為：

201：交互式建模分析算子將輸出數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)集合變量作為參數(shù)傳遞給數(shù)據(jù)交換接口組件的數(shù)據(jù)上傳模塊；

202：數(shù)據(jù)交換接口組件的數(shù)據(jù)上傳模塊根據(jù)數(shù)據(jù)集合變量的屬性列、以及每個(gè)屬性列對(duì)應(yīng)的數(shù)據(jù)格式，分別創(chuàng)建數(shù)據(jù)屬性標(biāo)簽、數(shù)據(jù)格式標(biāo)簽；同時(shí)創(chuàng)建一個(gè)空白的數(shù)據(jù)集文件，文件命名為系統(tǒng)隨機(jī)函數(shù)生成的一串32位長(zhǎng)度的隨機(jī)字符串；