[發明專利]一種通用的離線數據接入方法及系統

有效

• 申請號: 201710521896.1
• 申請日: 2017-06-30
• 公開（公告）號: CN107317865B
• 公開（公告）日: 2019-11-05
• 發明（設計）人: 張云;木偉民;李名揚;劉帆;王偉平
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 劉召民

本發明公開了一種通用的離線數據接入方法及系統，基于離線數據接入通用處理模板，來適配多種業務數據接入。具有如下優點：1)數據接入與業務耦合度低，數據接入系統更為通用，音視頻數據、圖片數據、博客數據、即時通信數據等數據源，都可以采用該方法及系統；2)多節點分布式采集數據，在保證數據正確傳輸的前提下，提供傳輸的并行度和傳輸效率，并實現了負載均衡；3)提供完善的異常處理和報錯機制；4)實時監控系統運行狀態，系統更為穩定。

技術領域

本申請屬于數據通信技術領域，涉及一種通用的離線數據接入方法及系統。

背景技術

目前的離線數據接入系統大都與特定的業務相關，根據業務的不同定制設計不同的接入接口，每個系統只針對特定的業務，無法將定制的系統應用到其他的數據處理業務。現有的開發出來的不同的數據接入系統，其數據提供方和數據接入系統沒有可遵循的統一規范，這導致數據接入系統的使用具有局限性，通用性差。此外，現有系統大多采用單節點數據采集，傳輸效率低；異常處理和報錯機制不完善，系統出錯后難以在較短的時間內恢復。

發明內容

本發明的目的在于提供一種通用的離線數據接入方法及系統，基于離線數據接入通用處理模板，來適配多種業務數據接入。

為了實現上述目的，本發明采用以下技術方案：

一種通用的離線數據接入方法，包括以下步驟：

1)構建離線數據接入通用處理模板；

2)數據提供方根據步驟1)構建的離線數據接入通用處理模板提供規范化數據；

3)數據接收方根據步驟1)構建的離線數據接入通用處理模板從數據提供方多節點分布式采集數據并進行解析及存儲。

進一步地，步驟1)中，所述離線數據接入通用處理模板的構建包括構建用于存儲數據提供方提交的結構化和非結構化的數據文件的/ToPlatForm/Data目錄和用于存儲數據提供方提交的控制文件的/ToPlatForm/Ctrl目錄。

進一步地，步驟2)中，所述數據提供方提供規范化數據的步驟包括：

2-1)將結構化數據采用Json格式封裝成Json數據文件，然后在/ToPlatForm/Data目錄中上傳Json數據文件和非結構化數據，并在/ToPlatForm/Ctrl目錄中上傳Json數據文件和非結構化數據對應的控制文件；

2-2)數據提供方在數據文件和控制文件上傳完成后，在/ToPlatForm/Ctrl目錄中生成控制文件對應的.ok文件，以標識本次提交的所有文件均已正確上傳。

進一步地，步驟3)中，所述數據接收方從數據提供方多節點分布式采集數據的步驟包括：

3-1)數據接收方讀取/ToPlatForm/Ctrl目錄下帶有.ok文件的控制文件，采用FTP傳輸協議多節點分布式采集對應的/ToPlatForm/Data目錄中的數據文件；

3-2)數據接收方完成數據文件采集后，在/ToPlatForm/Ctrl目錄下生成控制文件對應的.dwd文件，以標識數據接收方已經采集完對應的數據文件。

進一步地，所述離線數據接入通用處理模板的構建還包括構建用于存儲數據接收方下發的報錯文件的/FromPlatForm/Feedback/Error目錄。

進一步地，所述數據接收方在采集文件過程中出錯時，在/FromPlatForm/Feedback/Error目錄下生成以”Err_”開頭接對應的控制文件文件名命名的報錯文件，報錯文件中指明出錯文件的文件名和出錯類型；數據接收方生成報錯文件后，生成該報錯文件的.ok文件，以標識此次報錯完成；所述數據提供方定時讀取FromPlatForm/Feedback/Error目錄，根據報錯信息做相應的處理。