[發(fā)明專利]一種基于云平臺的云邊協(xié)同數據接入方法以及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210538593.1
• 申請日: 2022-05-17
• 公開（公告）號: CN114945020B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設計）人: 師源;沈美玲;鄒明敏;汪淼;孫文駿;張志超
• 申請（專利權）人: 寶信軟件（武漢）有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1095;H04L67/1097
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 田靈菲

1.一種基于云平臺的云邊協(xié)同數據接入方法，其特征在于，所述方法應用于基于云平臺的云邊協(xié)同數據接入系統(tǒng)，所述系統(tǒng)包括多個本地的節(jié)點設備、采用文件傳輸協(xié)議FTP的FTP服務器以及云平臺，所述方法包括：

所述節(jié)點設備從數據采集對象處采集數據，作為待接入數據；

所述節(jié)點設備將所述待接入數據上傳至所述FTP服務器；

所述FTP服務器將所述待接入數據上傳至所述云平臺的指定目錄；

所述節(jié)點設備向所述云平臺上報將所述待接入數據上傳至所述FTP服務器的通知消息；

所述云平臺在所述通知消息的指示下，對從所述FTP服務器接收到的所述待接入數據進行存儲，完成數據接入；

所述節(jié)點設備從數據采集對象處采集數據，作為待接入數據，包括：

所述節(jié)點設備從所述數據采集對象處采集初始數據；

所述節(jié)點設備對所述初始數據，按照約定分表字段將數據以表為單位，拆分成多個逗號分隔值CSV文件，作為所述待接入數據，在所述CSV文件中，第一行為數據字段名，第二行之后為數據內容；

所述節(jié)點設備將所述待接入數據上傳至所述FTP服務器的過程中，包括：

所述FTP服務器按照文件存儲目錄結構要求，生成每一個所述CSV文件的存儲目錄，并建立對應的HIVE數據庫表，以存儲所述待接入數據；

所述云平臺在所述通知消息的指示下，對從所述FTP服務器接收到的所述待接入數據進行存儲，包括：

所述云平臺在所述通知消息的指示下，根據所述FTP服務器為多個所述CSV文件配置的任務狀態(tài)段TSS任務調度配置信息，從所述指定目錄中讀取多個所述CSV文件；

所述云平臺解析多個所述CSV文件，并寫入對應的HIVE數據庫。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述云平臺預先建立HIVE數據庫；

所述云平臺在所述HIVE數據庫中按照約定分表字段，建立相應數據庫表，供后續(xù)的數據進行存儲。

3.根據權利要求1所述的方法，其特征在于，所述通知消息中具體包括多個所述CSV文件的路徑。

4.根據權利要求1所述的方法，其特征在于，所述節(jié)點設備向所述云平臺上報將所述待接入數據上傳至所述FTP服務器的通知消息，包括：

所述節(jié)點設備通過所述云平臺預先分配的應用程序接口API，向所述云平臺上報將所述待接入數據上傳至所述FTP服務器的通知消息。

5.根據權利要求1所述的方法，其特征在于，所述節(jié)點設備具體為邊緣節(jié)點設備或者業(yè)務系統(tǒng)。