[發明專利]數據實時存儲方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010090231.1
• 申請日: 2020-02-13
• 公開（公告）號: CN111400361A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 饒鑫;黃望;石曉龍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06F16/25
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種數據實時存儲方法，其特征在于，包括：

讀取預設配置文件得到日志篩選條件，從采集到的日志數據中獲取符合所述日志篩選條件的日志數據，并根據所述預設配置文件將獲取到的日志數據寫入kafka中，作為待轉化數據；

定時從kafka中讀取所述待轉化數據，根據預設切片條件對讀取到的所述待轉化數據進行切割匹配處理得到待確定文本序列，并將所述待確定文本序列寫入hbase上的預設數據表中；

根據所述預設數據表在所述hbase上的存儲路徑為hive生成指向所述預設數據庫表的結構數據軟鏈接；

通過正則表達式對根據所述結構數據軟鏈接獲取到的所述待確定文本序列進行切割處理，并將切割處理后得到的結構化數據寫入所述hive上的結構化數據庫中。

2.根據權利要求1所述的方法，其特征在于，所述根據預設切片條件對讀取到的所述待轉化數據進行切割匹配處理得到待確定文本序列，包括：

根據所述預設切片條件確定所述待轉化數據的切片點；

定位所述切片點在所述待轉化數據中的位置坐標，并根據所述位置坐標將所述待轉化數據切割為字符串序列；

根據預設匹配條件獲取與所述字符串序列對應的鍵值文本序列并進行關聯，得到待確定文本。

3.根據權利要求2所述的方法，其特征在于，所述根據所述預設切片條件確定所述待轉化數據的切片點，包括：

將每一個字符串在同一行所述待轉化數據中的出現頻次作為頻次數組，并計算所述頻次數組的方差；

若所述頻次數組的方差小于特定數值，則將所述字符串作為所述切片點。

4.根據權利要求2所述的方法，其特征在于，所述根據所述預設切片條件確定所述待轉化數據的切片點，包括：

將所述待轉化數據中出現頻次最多的字符串作為所述切片點。

5.根據權利要求2所述的方法，其特征在于，所述根據預設匹配條件獲取與所述字符串序列對應的所述鍵值文本序列并進行關聯，包括：

獲取所述字符串序列的鍵值文本序列以及所述鍵值文本序列的標識符；

將與所述標識符對應的所述字符串序列賦值給所述鍵值文本序列。

6.根據權利要求1所述的方法，其特征在于，所述從采集到的日志數據中獲取符合所述日志篩選條件的日志數據，并根據所述預設配置文件將獲取到的日志數據寫入kafka中，包括：

從采集到的所述日志數據中獲取格式關鍵字，并按照所述格式關鍵字對所述日志數據進行歸類，得到歸類日志數據；

從所述歸類日志數據中獲取符合所述日志篩選條件的日志數據，作為待寫入數據，并根據所述待寫入數據的采集路徑將所述待寫入數據寫入kafka中。

7.根據權利要求1所述的方法，其特征在于，所述通過正則表達式對根據所述結構數據軟鏈接獲取到的所述待確定文本序列進行切割處理，包括：

將從所述待確定文本序列中搜索到的指定字符替換為預設切割字符，并在所述預設切割字符處對所述待確定文本序列進行切割。

8.一種數據實時存儲裝置，其特征在于，包括：

數據緩沖模塊，用于讀取預設配置文件得到日志篩選條件，從采集到的日志數據中獲取符合所述日志篩選條件的日志數據，并根據所述預設配置文件將獲取到的日志數據寫入kafka中，作為待轉化數據；

序列匹配模塊，用于定時從kafka中讀取所述待轉化數據，根據預設切片條件對讀取到的所述待轉化數據進行切割匹配處理得到待確定文本序列，并將所述待確定文本序列寫入hbase上的預設數據表中；

鏈接指向模塊，用于根據所述預設數據表在所述hbase上的存儲路徑為hive生成指向所述預設數據庫表的結構數據軟鏈接；

結構化模塊，用于通過正則表達式對根據所述結構數據軟鏈接獲取到的所述待確定文本序列進行切割處理，并將切割處理后得到的結構化數據寫入所述hive上的結構化數據庫中。