[發明專利]數據采集及解析方法及系統

在審

• 申請號: 201610055952.2
• 申請日: 2016-01-27
• 公開（公告）號: CN105718295A
• 公開（公告）日: 2016-06-29
• 發明（設計）人: 唐永瑞;漆堯;杜科
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F9/45
• 分類號: G06F9/45
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 李凌峰

技術領域

本發明涉及終端上報的行為數據的日常采集及解析，特別涉及在Java技術基礎上，構建大規模數據的采集及解析。

背景技術

隨著智能家電的普及，如何分析用戶終端的各項數據，挖掘用戶的隱形需求，為用戶提供更加豐富、友好的服務，成為各大家電廠商研究的重要方向?；谶@些要求，對終端數據的采集和解析，為后續的大數據處理工作提供數據支撐，成為了一項重要的基礎工作。

Java技術廣泛應用于各大系統平臺的軟件開發，利用Java技術開發web程序進行數據采集、數據解析，可以跨平臺移植，方便進行大規模部署、更新、升級。傳統的數據采集、解析方法包括兩種：一、數據的實時采集、解析；二、數據的延時采集、解析。實時的數據采集、解析方法由一套web程序提供采集、解析功能，即在數據上報的第一時間觸發采集、解析程序，采集到的數據立刻進行解析、存儲；延時的數據采集、解析方法的則由采集程序和解析程序構成，采集程序先將終端上報的數據寫入到服務器的本地磁盤空間，解析程序掃描本地數據文件，讀取數據進行解析處理、存儲。

發明內容

本發明所要解決的技術問題，就是提供一種數據采集及解析方法及系統以實現更加快速、可靠的數據采集及解析。

本發明解決所述技術問題，采用的技術方案是，數據采集及解析方法，包括：終端上報數據時，系統采集上報數據，根據預設周期存儲至本地磁盤；系統對本地磁盤存儲的上報數據進行多線程掃描解析，并將解析數據存儲至kafka。

具體的，終端通過post方式上報數據。

具體的，系統采集上報數據，將其轉換為String格式的字符串，并將字符串保存在列表中，根據預設周期將列表中的數據寫入到本地磁盤。

具體的，系統對本地磁盤存儲數據進行多線程掃描解析，每個線程中，系統將String類型的字符串數據轉換為json格式的數據，獲取各字段值，并對各字段值進行解析。

進一步的，所述對各字段值進行解析包括：獲取designation字段值判斷解密類型，調用解密程序進行數據解密，得到解密數據；獲取ip字段值，調用IP解析程序對IP進行解析，得到IP地址信息及時間信息。

進一步的，系統將解密數據、IP地址信息及時間信息組合成json格式的數據存入kafka，所述kafka存儲節點至少為一個。

數據采集及解析系統，包括數據采集接口、本地磁盤、數據解析模塊及kafka存儲節點；所述數據采集接口與本地磁盤連接，本地磁盤與數據解析模塊連接，數據解析模塊與kafka存儲節點連接；

所述數據采集接口，用于終端上報數據時，采集上報數據，并根據預設周期將上報數據存儲至本地磁盤；

所述數據解析模塊，用于對本地磁盤存儲的上報數據進行多線程掃描解析，并將解析數據存儲至kafka。

具體的，終端通過post方式上報數據至數據采集接口。

具體的，數據采集接口采集上報數據，將其轉換為String格式的字符串，并將字符串保存在列表中，根據預設周期將列表中的數據寫入到本地磁盤。

具體的，數據解析模塊對本地磁盤存儲的上報數據進行多線程掃描解析，每個線程中，系統將String類型的字符串數據轉換為json格式的數據，獲取各字段值，并對各字段值進行解析。

進一步的，所述對各字段值進行解析包括：獲取designation字段值判斷解密類型，調用解密程序進行數據解密，得到解密數據；獲取ip字段值，調用IP解析程序對IP進行解析，得到IP地址信息及時間信息。

進一步的，系統將解密數據、IP地址信息及時間信息組合成json格式的數據存入kafka，所述kafka存儲節點至少為一個。

本發明的有益效果是：由于數據解析主程序或調用的解密程序、IP解析程序的升級及維護不會影響到數據采集工作的正常進行，所以不會造成數據丟失，保證了采集數據的完整性；快速、可靠的實現對終端上傳數據的采集和解析。

附圖說明

圖1為本發明數據采集及解析方法及系統實施例的流程圖。

以下結合實施例的具體實施方式，對本發明的上述內容再作進一步的詳細說明。但不應將此理解為本發明上述主題的范圍僅限于以下的實例。在不脫離本發明上述技術思想情況下，根據本領域普通技術知識和慣用手段做出的各種替換或變更，均應包括在本發明的范圍內。

具體實施方式

下面結合附圖及實施例詳細描述本發明的技術方案：