[發明專利]Flume元數據信息分析提取方法及相關組件

在審

• 申請號: 202011552583.0
• 申請日: 2020-12-24
• 公開（公告）號: CN112685364A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 胡永澤
• 申請（專利權）人: 北京浪潮數據技術有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/18;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春輝

1.一種Flume元數據信息分析提取方法，其特征在于，包括：

獲取待處理的Event數據；其中，所述Event數據中包括：Event Header與Event Body；

對所述Event Body進行目標分隔符識別，并根據識別到的所述目標分隔符對所述Event Body進行元數據字段信息提取，得到元數據字段信息；

為所述元數據字段信息匹配對應的元數據字段名稱，得到元數據字段名稱與字段信息的數據對；

按照預設元數據統一存儲格式對所述數據對進行格式轉換，生成標準格式的元數據信息；

將所述標準格式的元數據信息添加至所述Event數據中。

2.根據權利要求1所述的Flume元數據信息分析提取方法，其特征在于，在為所述元數據字段信息匹配對應的元數據字段名稱之前，還包括：

判斷所述元數據字段信息的數量與預先配置的所述元數據字段名稱的數量是否匹配；

若匹配，執行為所述元數據字段信息匹配對應的元數據字段名稱的步驟；

若不匹配，將所述Event數據作為錯誤數據，寫入錯誤數據記錄文件中。

3.根據權利要求2所述的Flume元數據信息分析提取方法，其特征在于，在將所述Event數據作為錯誤數據，寫入錯誤數據記錄文件中之后，還包括：

判斷所述錯誤數據記錄文件中寫入的錯誤數據的數量是否達到第一閾值；

若達到，停止所述Source組件的數據采集通道，并輸出錯誤提示；

若未達到，執行所述判斷所述Event Body中目標分隔符的數量與字段數量是否匹配的步驟。

4.根據權利要求2所述的Flume元數據信息分析提取方法，其特征在于，判斷所述元數據字段信息的數量與預先配置的所述元數據字段名稱的數量是否匹配，包括：

判斷所述Event Body中目標分隔符的數量，是否為所述元數據字段名稱的數量與1的差值；

若是，判定所述元數據字段信息的數量與預先配置的所述元數據字段名稱的數量匹配；

若否，判定所述元數據字段信息的數量與預先配置的所述元數據字段名稱的數量不匹配。

5.根據權利要求2所述的Flume元數據信息分析提取方法，其特征在于，在執行對所述Event Body進行目標分隔符識別的步驟之前，還包括：

若所述錯誤數據記錄文件中寫入的錯誤數據的數量達到所述第一閾值，判斷是否開啟臟數據校驗；

若開啟，判斷所述Event Body中所有字段數據的數據類型是否為目標配置類型；

若是，執行對所述Event Body進行目標分隔符識別的步驟；

若否，將所述Event數據作為臟數據，寫入臟數據記錄文件中；

若未開啟，執行對所述Event Body進行目標分隔符識別的步驟。

6.根據權利要求5所述的Flume元數據信息分析提取方法，其特征在于，還包括：

判斷所述臟數據記錄文件中寫入的臟數據的數量是否達到第二閾值；

若達到，停止所述Source組件的數據采集通道，并輸出臟數據提示；

若未達到，執行對所述Event Body進行目標分隔符識別的步驟。

7.根據權利要求1所述的Flume元數據信息分析提取方法，其特征在于，所述按照預設元數據統一存儲格式對所述數據對進行格式轉換，生成標準格式的元數據信息，包括：

將所述數據對進行Json格式構造，生成Json格式的元數據；

將所述Json格式的元數據作為所述標準格式的元數據信息。