[發(fā)明專利]非結(jié)構(gòu)化數(shù)據(jù)的同步方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911154907.2
• 申請(qǐng)日: 2019-11-22
• 公開（公告）號(hào): CN112835972A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 盧彩霞;周楠西;唐志濤;張濤;謝長濤;高天
• 申請(qǐng)（專利權(quán)）人: 北京中電普華信息技術(shù)有限公司;國網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 薛嬌

本發(fā)明提供了一種非結(jié)構(gòu)化數(shù)據(jù)的同步方法及系統(tǒng)，其中方法包括：從非結(jié)構(gòu)化數(shù)據(jù)列表獲取一條非結(jié)構(gòu)化數(shù)據(jù)；依據(jù)非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量匹配所述非結(jié)構(gòu)化數(shù)據(jù)的分片數(shù)量，構(gòu)建與分片數(shù)量一致的數(shù)據(jù)記錄；其中，每條數(shù)據(jù)記錄包含的數(shù)據(jù)內(nèi)容小于預(yù)設(shè)數(shù)據(jù)量；存儲(chǔ)所述非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)記錄至數(shù)據(jù)庫服務(wù)器，以便基于所述非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)記錄對(duì)所述非結(jié)構(gòu)化數(shù)據(jù)執(zhí)行同步操作。本發(fā)明使得一條非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)一條或多條數(shù)據(jù)記錄，這樣可以使得每條數(shù)據(jù)記錄包含的數(shù)據(jù)內(nèi)容較小，從而達(dá)到不受SQL邏輯強(qiáng)隔離裝置的驅(qū)動(dòng)程序限制和數(shù)據(jù)庫服務(wù)器的字段限制的目的。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及非結(jié)構(gòu)化數(shù)據(jù)的同步方法及系統(tǒng)。

背景技術(shù)

為了保護(hù)網(wǎng)絡(luò)安全，通常大型網(wǎng)絡(luò)架構(gòu)分為內(nèi)網(wǎng)和外網(wǎng)兩個(gè)獨(dú)立地物理網(wǎng)絡(luò)。對(duì)于一個(gè)應(yīng)用系統(tǒng)而言，可以將內(nèi)部服務(wù)部署在內(nèi)網(wǎng)(也即部署于內(nèi)網(wǎng)應(yīng)用服務(wù)器)，以便內(nèi)部用戶通過內(nèi)網(wǎng)訪問、保證安全性；將公眾服務(wù)部署在外網(wǎng)(也即部署于外網(wǎng)應(yīng)用服務(wù)器)，以便公眾用戶通過外網(wǎng)訪問、保證可用性。

為了保護(hù)內(nèi)網(wǎng)安全性，外網(wǎng)和內(nèi)網(wǎng)之間通過SQL邏輯強(qiáng)隔離裝置進(jìn)行隔離。SQL邏輯強(qiáng)隔離裝置僅允許內(nèi)網(wǎng)和外網(wǎng)之間通過數(shù)據(jù)庫SQL操作進(jìn)行通信，不允許其他方式穿透隔離裝置，從而保證內(nèi)網(wǎng)安全性。

在應(yīng)用系統(tǒng)運(yùn)行過程中會(huì)產(chǎn)生結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)包括圖片、小視頻、附件等。通常情況下，內(nèi)網(wǎng)將內(nèi)網(wǎng)用戶上傳的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于內(nèi)網(wǎng)文件服務(wù)器中，同樣的，外網(wǎng)將外網(wǎng)用戶上傳的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于外網(wǎng)文件服務(wù)器中。

在一些應(yīng)用場景下，內(nèi)網(wǎng)應(yīng)用服務(wù)器需要使用外網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)，外網(wǎng)應(yīng)用服務(wù)器需要使用內(nèi)網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)。不過在SQL邏輯強(qiáng)隔離裝置的隔離下，內(nèi)網(wǎng)應(yīng)用服務(wù)器無法直接訪問外網(wǎng)文件服務(wù)器，同樣，外網(wǎng)應(yīng)用服務(wù)器無法直接訪問內(nèi)網(wǎng)文件服務(wù)器。因此應(yīng)用系統(tǒng)還具有同步功能，以用于同步內(nèi)網(wǎng)和外網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)。

在目前應(yīng)用系統(tǒng)的同步功能中，為了保證穩(wěn)定性通常會(huì)限制非結(jié)構(gòu)化數(shù)據(jù)的大小；在不限制非結(jié)構(gòu)化數(shù)據(jù)大小情況下同步功能的穩(wěn)定性較差。因此，目前應(yīng)用系統(tǒng)的同步功能有待改善。

發(fā)明內(nèi)容

發(fā)明人在研究過程中發(fā)現(xiàn)，應(yīng)用系統(tǒng)的同步功能包括兩個(gè)過程：

第一過程：內(nèi)網(wǎng)應(yīng)用服務(wù)器構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)記錄，一條非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)一條數(shù)據(jù)記錄，并上傳各個(gè)數(shù)據(jù)記錄到數(shù)據(jù)庫服務(wù)器。外網(wǎng)應(yīng)用服務(wù)器通過SQL邏輯強(qiáng)隔離裝置到數(shù)據(jù)庫服務(wù)器中提取數(shù)據(jù)記錄，并存儲(chǔ)到外網(wǎng)文件服務(wù)器。

第二過程：外網(wǎng)應(yīng)用服務(wù)器建非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)記錄，一條非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)一條數(shù)據(jù)記錄，并通過SQL邏輯強(qiáng)隔離裝置上傳各個(gè)數(shù)據(jù)記錄到數(shù)據(jù)庫服務(wù)器。內(nèi)網(wǎng)應(yīng)用服務(wù)器到數(shù)據(jù)庫服務(wù)器中提取數(shù)據(jù)記錄，并存儲(chǔ)到內(nèi)網(wǎng)文件服務(wù)器。

在第一過程和第二過程中，每條數(shù)據(jù)記錄包括二進(jìn)制大對(duì)象字段(BLOB字段)，在一個(gè)BLOB字段中存儲(chǔ)有一條非結(jié)構(gòu)化數(shù)據(jù)的整體數(shù)據(jù)內(nèi)容。由于非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量通常較大，對(duì)應(yīng)的數(shù)據(jù)記錄的數(shù)據(jù)量也較大。

由于在同步功能中內(nèi)網(wǎng)和外網(wǎng)之間的同步操作需要經(jīng)過SQL邏輯強(qiáng)隔離裝置，且，數(shù)據(jù)記錄需存儲(chǔ)于數(shù)據(jù)庫服務(wù)器中，因此，SQL邏輯強(qiáng)隔離裝置的驅(qū)動(dòng)程序限制和數(shù)據(jù)庫服務(wù)器的字段限制對(duì)同步功能具有一定影響。

通常情況下，在應(yīng)用系統(tǒng)的同步功能中，當(dāng)一條數(shù)據(jù)記錄中非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量大于20M，同步功能很大程度會(huì)出現(xiàn)不穩(wěn)定情況，即可能出現(xiàn)外網(wǎng)無法從內(nèi)網(wǎng)讀取數(shù)據(jù)記錄的情況，或者，外網(wǎng)無法向內(nèi)網(wǎng)寫入數(shù)據(jù)記錄的情況。

因此目前應(yīng)用系統(tǒng)中，內(nèi)網(wǎng)和外網(wǎng)之間的同步功能會(huì)限制非結(jié)構(gòu)化數(shù)據(jù)的大小，這導(dǎo)致同步功能的適用范圍具有局限性；在不限制非結(jié)構(gòu)化數(shù)據(jù)的大小的情況下，同步功能的穩(wěn)定性較差。

鑒于此，本發(fā)明提供非結(jié)構(gòu)化數(shù)據(jù)的同步方法及系統(tǒng)，可以在不限制非結(jié)構(gòu)化數(shù)據(jù)的大小的情況下，依然保證同步功能的穩(wěn)定性。