[發(fā)明專利]一種基于云平臺(tái)的云邊協(xié)同數(shù)據(jù)接入方法以及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210538593.1
• 申請日: 2022-05-17
• 公開（公告）號: CN114945020B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 師源;沈美玲;鄒明敏;汪淼;孫文駿;張志超
• 申請（專利權(quán)）人: 寶信軟件（武漢）有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1095;H04L67/1097
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 田靈菲

本申請?zhí)峁┝艘环N基于云平臺(tái)的云邊協(xié)同數(shù)據(jù)接入方法以及系統(tǒng)，用于在基于云平臺(tái)的數(shù)據(jù)管理服務(wù)中，通過FTP服務(wù)的簡潔、高效的系統(tǒng)處理架構(gòu)，實(shí)現(xiàn)存儲(chǔ)量小、傳輸方便快捷、對網(wǎng)絡(luò)帶寬要求低、易解析的優(yōu)點(diǎn)，從而具有顯著提高的實(shí)用性。方法應(yīng)用于基于云平臺(tái)的云邊協(xié)同數(shù)據(jù)接入系統(tǒng)，系統(tǒng)包括多個(gè)本地的節(jié)點(diǎn)設(shè)備、采用FTP的FTP服務(wù)器以及云平臺(tái)，方法包括：節(jié)點(diǎn)設(shè)備從數(shù)據(jù)采集對象處采集數(shù)據(jù)，作為待接入數(shù)據(jù)；節(jié)點(diǎn)設(shè)備將待接入數(shù)據(jù)上傳至FTP服務(wù)器；FTP服務(wù)器將待接入數(shù)據(jù)上傳至云平臺(tái)的指定目錄；節(jié)點(diǎn)設(shè)備向云平臺(tái)上報(bào)將待接入數(shù)據(jù)上傳至FTP服務(wù)器的通知消息；云平臺(tái)在通知消息的指示下，對從FTP服務(wù)器接收到的待接入數(shù)據(jù)進(jìn)行存儲(chǔ)，完成數(shù)據(jù)接入。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)管理領(lǐng)域，具體涉及一種基于云平臺(tái)的云邊協(xié)同數(shù)據(jù)接入方法以及系統(tǒng)。

背景技術(shù)

在公司內(nèi)部，用戶可以通過云平臺(tái)來提供相關(guān)數(shù)據(jù)管理服務(wù)；或者，也可面向市場，向用戶推出基于云平臺(tái)的數(shù)據(jù)管理服務(wù)的相關(guān)產(chǎn)品。

對于用戶而言，可以在一個(gè)設(shè)備上將相關(guān)數(shù)據(jù)上傳至云平臺(tái)，再在另外一個(gè)設(shè)備上查閱云平臺(tái)上存儲(chǔ)的該數(shù)據(jù)，相比于以前本地的數(shù)據(jù)管理，基于云平臺(tái)的數(shù)據(jù)管理服務(wù)，對本地設(shè)備的軟硬件條件的要求顯著降低，在使用上也具有更為靈活的特點(diǎn)。

而在現(xiàn)有的相關(guān)技術(shù)的研究過程中，發(fā)明人發(fā)現(xiàn)，基于云平臺(tái)的數(shù)據(jù)管理服務(wù)，目前是通過HTTP協(xié)議接口的方式進(jìn)行同步數(shù)據(jù)的，存在數(shù)據(jù)量大、同步時(shí)間長、容易造成接口不穩(wěn)定、數(shù)據(jù)丟失等問題，導(dǎo)致實(shí)用性較差。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N基于云平臺(tái)的云邊協(xié)同數(shù)據(jù)接入方法以及系統(tǒng)，用于在基于云平臺(tái)的數(shù)據(jù)管理服務(wù)中，通過文件傳輸協(xié)議(FileTransferProtocol，F(xiàn)TP)服務(wù)的簡潔、高效的系統(tǒng)處理架構(gòu)，實(shí)現(xiàn)存儲(chǔ)量小、傳輸方便快捷、對網(wǎng)絡(luò)帶寬要求低、易解析的優(yōu)點(diǎn)，從而具有顯著提高的實(shí)用性。

第一方面，本申請?zhí)峁┝艘环N基于云平臺(tái)的云邊協(xié)同數(shù)據(jù)接入方法，方法應(yīng)用于基于云平臺(tái)的云邊協(xié)同數(shù)據(jù)接入系統(tǒng)，系統(tǒng)包括多個(gè)本地的節(jié)點(diǎn)設(shè)備、采用FTP的FTP服務(wù)器以及云平臺(tái)，方法包括：

節(jié)點(diǎn)設(shè)備從數(shù)據(jù)采集對象處采集數(shù)據(jù)，作為待接入數(shù)據(jù)；

節(jié)點(diǎn)設(shè)備將待接入數(shù)據(jù)上傳至FTP服務(wù)器；

FTP服務(wù)器將待接入數(shù)據(jù)上傳至云平臺(tái)的指定目錄；

節(jié)點(diǎn)設(shè)備向云平臺(tái)上報(bào)將待接入數(shù)據(jù)上傳至FTP服務(wù)器的通知消息；

云平臺(tái)在通知消息的指示下，對從FTP服務(wù)器接收到的待接入數(shù)據(jù)進(jìn)行存儲(chǔ)，完成數(shù)據(jù)接入。

結(jié)合本申請第一方面，在本申請第一方面第一種可能的實(shí)現(xiàn)方式中，節(jié)點(diǎn)設(shè)備從數(shù)據(jù)采集對象處采集數(shù)據(jù)，作為待接入數(shù)據(jù)，包括：

節(jié)點(diǎn)設(shè)備從數(shù)據(jù)采集對象處采集初始數(shù)據(jù)；

節(jié)點(diǎn)設(shè)備對初始數(shù)據(jù)，按照約定分表字段將數(shù)據(jù)以表為單位，拆分成多個(gè)逗號分隔值(Comma?Separated?Values，CSV)文件，作為待接入數(shù)據(jù)，在CSV文件中，第一行為數(shù)據(jù)字段名，第二行之后為數(shù)據(jù)內(nèi)容。

結(jié)合本申請第一方面第一種可能的實(shí)現(xiàn)方式，在本申請第一方面第二種可能的實(shí)現(xiàn)方式中，節(jié)點(diǎn)設(shè)備將待接入數(shù)據(jù)上傳至FTP服務(wù)器的過程中，包括：

FTP服務(wù)器按照文件存儲(chǔ)目錄結(jié)構(gòu)要求，生成每一個(gè)CSV文件的存儲(chǔ)目錄，并建立對應(yīng)的HIVE數(shù)據(jù)庫表，以存儲(chǔ)待接入數(shù)據(jù)。

結(jié)合本申請第一方面第一種可能的實(shí)現(xiàn)方式，在本申請第一方面第三種可能的實(shí)現(xiàn)方式中，云平臺(tái)在通知消息的指示下，對從FTP服務(wù)器接收到的待接入數(shù)據(jù)進(jìn)行存儲(chǔ)，包括：