[發明專利]一種通用的離線數據接入方法及系統

有效

• 申請號: 201710521896.1
• 申請日: 2017-06-30
• 公開（公告）號: CN107317865B
• 公開（公告）日: 2019-11-05
• 發明（設計）人: 張云;木偉民;李名揚;劉帆;王偉平
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 劉召民

1.一種通用的離線數據接入方法，包括以下步驟：

1)構建離線數據接入通用處理模板，所述離線數據接入通用處理模板的構建包括構建用于存儲數據提供方提交的結構化和非結構化的數據文件的/ToPlatForm/Data目錄和用于存儲數據提供方提交的控制文件的/ToPlatForm/Ctrl目錄；

2)數據提供方根據步驟1)構建的離線數據接入通用處理模板提供規范化數據，包括：

2-1)將結構化數據采用Json格式封裝成Json數據文件，然后在/ToPlatForm/Data目錄中上傳Json數據文件和非結構化數據，并在/ToPlatForm/Ctrl目錄中上傳Json數據文件和非結構化數據對應的控制文件；

2-2)數據提供方在數據文件和控制文件上傳完成后，在/ToPlatForm/Ctrl目錄中生成控制文件對應的.ok文件，以標識本次提交的所有文件均已正確上傳；

3)數據接收方根據步驟1)構建的離線數據接入通用處理模板從數據提供方多節點分布式采集數據并進行解析及存儲。

2.如權利要求1所述的通用的離線數據接入方法，其特征在于，步驟3)中，所述數據接收方從數據提供方多節點分布式采集數據的步驟包括：

3-1)數據接收方讀取/ToPlatForm/Ctrl目錄下帶有.ok文件的控制文件，采用FTP傳輸協議多節點分布式采集對應的/ToPlatForm/Data目錄中的數據文件；

3-2)數據接收方完成數據文件采集后，在/ToPlatForm/Ctrl目錄下生成控制文件對應的.dwd文件，以標識數據接收方已經采集完對應的數據文件。

3.如權利要求1所述的通用的離線數據接入方法，其特征在于，所述離線數據接入通用處理模板的構建還包括構建用于存儲數據接收方下發的報錯文件的/FromPlatForm/Feedback/Error目錄。

4.如權利要求3所述的通用的離線數據接入方法，其特征在于，所述數據接收方在采集文件過程中出錯時，在/FromPlatForm/Feedback/Error目錄下生成以“Err_”開頭接對應的控制文件文件名命名的報錯文件，報錯文件中指明出錯文件的文件名和出錯類型；數據接收方生成報錯文件后，生成該報錯文件的.ok文件，以標識此次報錯完成；所述數據提供方定時讀取FromPlatForm/Feedback/Error目錄，根據報錯信息做相應的處理。

5.一種通用的離線數據接入系統，包括：

模板構建模塊，用于構建離線數據接入通用處理模板，所述離線數據接入通用處理模板被數據提供方用于規范化數據，該模塊包括：用于存儲數據提供方提交的結構化和非結構化的數據文件的/ToPlatForm/Data目錄，用于存儲數據提供方提交的控制文件的/ToPlatForm/Ctrl目錄和用于存儲采集數據出錯時生成的報錯文件的/FromPlatForm/Feedback/Error目錄；

數據采集模塊，用于多節點分布式采集數據提供方提供的規范化數據；

數據傳輸模塊，用于數據提供方，數據采集模塊和數據存儲模塊之間的數據傳輸；以及

數據存儲模塊，用于將從數據提供方采集的數據存儲于數據庫。

6.如權利要求5所述的通用的離線數據接入系統，其特征在于，所述數據采集模塊和所述數據存儲模塊分別根據所述離線數據接入通用處理模板采集、存儲數據。