[發明專利]一種基于嵌入式linux的松耦合、高擴展性無埋點數據采集方法

在審

• 申請號: 202111439555.2
• 申請日: 2021-11-30
• 公開（公告）號: CN114116402A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 陳家豪;黃洋;陳付祥;李鵬
• 申請（專利權）人: 山東浪潮云縵智能科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32;G06F16/22;G06F16/2455;G06F16/28
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 李桂存

一種基于嵌入式linux的松耦合、高擴展性無埋點數據采集方法，具有采集數據更加全面，無需埋點方便快捷，降低適配開發成本、高可用性等優點。比起常規的嵌入式linux信息上報，對日志進行規范化，標準化，支持全量數據采集、數據采集后的歸檔保存，各字段支持索引，與普通的無埋點數據采集方式相比，支持數據采集的動態可適配，既能保證采集數據的全面性，又能降低終端負載。

技術領域

本發明涉及數據采集技術領域，具體涉及一種基于嵌入式linux的松耦合、高擴展性無埋點數據采集方法。

背景技術

隨著嵌入式Linux系統的發展，嵌入式設備的種類越來越復雜，越來越多的設備采集數據。大量設備需要聯網和數據傳輸，以及與不同實現環境對應的不同功能需求。龐大的基礎功能系統和大量設備實例冗余數據字段的存儲和傳輸，不僅給網絡和云系統帶來巨大壓力，也增加了系統開發的工作量和維護成本。

發明內容

本發明為了克服以上技術的不足，提供了一種通用的，松耦合的無埋點數據采集方式，支持全量數據采集，將不同種類的設備數據統一上傳存儲進行大數據分析處理的方法。

本發明克服其技術問題所采用的技術方案是：

一種基于嵌入式linux的松耦合、高擴展性無埋點數據采集方法，包括如下步驟：

a)設置嵌入式linux移植日志庫，各個linux程序將日志傳輸到消息隊列，嵌入式linux移植日志庫中線程從消息隊列中讀取日志并寫入磁盤；

b)置日志采集模塊，所述日志采集模塊由若干嵌入式終端構成，每個嵌入式終端由linux移植日志庫及日志處理引擎構成，日志處理引擎讀取linux移植日志庫中日志，生成對應的JSON結構化數據；

c)設置數據存儲模塊，所述數據存儲模塊分為mysql數據庫和kafka緩存，將mysal型的JSON結構化數據存儲到mysql數據庫中，將kafka型的JSON結構化數據存儲到kafka緩存中；

d)設置數據聚合索引模塊，所述數據聚合索引模塊對數據存儲模塊中的JSON結構化數據按照每個字段進行索引；

e)設置數據可視化模塊，所述數據可視化模塊將索引后的數據進行展示。

進一步的，步驟a)中嵌入式linux移植日志庫采用生產者消費模式，消息隊列先緩存到內存后再啟用另一個線程從隊列中讀取日志并寫到磁盤上。

進一步的，步驟b)中日志處理引擎使用字符串對日志進行初步篩選生成原始日志文件，flent bit讀取原始日志文件，根據服務器下發的正則表達式，對原始日志進行過濾，生成對應的JSON結構化數據。

進一步的，步驟b)中JSON結構化數據包含終端ID、業務名稱、事件名稱、發生時間和自定義信息。

進一步的，步驟b)中將JSON結構化數據通過APK上傳到頭端服務器。

進一步的，步驟d)中數據聚合索引模塊由logstash及Elasticsearch構成，logstash接收Kafka型的JSON結構化數據以及mysql型的JSON結構化數據后轉給Elasticsearch，Elasticsearch對Kafka型的JSON結構化數據和mysql型的JSON結構化數據進行索引、聚合，使對應的數據按照每個字段進行索引。

進一步的，步驟e)中數據聚合索引模塊由klbana構成。

本發明的有益效果是：相較于普通數據采集有著，采集數據更加全面，無需埋點方便快捷，降低適配開發成本、高可用性等優點。比起常規的嵌入式linux信息上報，對日志進行規范化，標準化，支持全量數據采集、數據采集后的歸檔保存，各字段支持索引，與普通的無埋點數據采集方式相比，支持數據采集的動態可適配 ，既能保證采集數據的全面性，又能降低終端負載。

附圖說明

圖1為本發明的無埋點數據采集流程圖；