[發(fā)明專利]日志數(shù)據(jù)處理方法、裝置、系統(tǒng)、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010830866.0
• 申請日: 2020-08-18
• 公開（公告）號: CN111949637A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 解加鵬;董加強(qiáng)
• 申請（專利權(quán)）人: 上海七牛信息技術(shù)有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;H04L12/24
• 代理公司: 上海碩力知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31251
• 代理人: 郭桂峰

1.一種日志數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

獲取業(yè)務(wù)實體針對實時日志的第一處理結(jié)果，所述第一處理結(jié)果為流式化處理所得結(jié)果；

判斷所述第一處理結(jié)果是否滿足預(yù)設(shè)的完整度條件；

若所述第一處理結(jié)果不滿足所述預(yù)設(shè)的完整度條件，則獲取離線日志；

將所述離線日志進(jìn)行流式化，并輸入到業(yè)務(wù)實體進(jìn)行流式化處理，得到第二處理結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，所述若所述第一處理結(jié)果不滿足所述預(yù)設(shè)的完整度條件，則獲取離線日志，包括：

若所述第一處理結(jié)果不滿足所述預(yù)設(shè)的完整度條件，則提取與所述實時日志對應(yīng)的數(shù)據(jù)源信息；

根據(jù)所述實時日志對應(yīng)的數(shù)據(jù)源信息，在數(shù)據(jù)源中獲取離線日志。

3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述實時日志對應(yīng)的數(shù)據(jù)源信息，在數(shù)據(jù)源中獲取離線日志，包括：

在獲取離線日志之前，判斷所述離線日志在所述數(shù)據(jù)源中是否準(zhǔn)備完成；

若所述離線日志準(zhǔn)備完成，則在數(shù)據(jù)源中獲取離線日志；

若所述離線日志沒有準(zhǔn)備完成，則在預(yù)設(shè)時間后，再次在數(shù)據(jù)源中獲取離線日志。

4.如權(quán)利要求1所述的方法，其特征在于，所述將所述離線日志進(jìn)行流式化，并輸入到業(yè)務(wù)實體進(jìn)行流式化處理，得到第二處理結(jié)果包括：

將所述離線日志發(fā)送到流式日志存儲系統(tǒng)，通過所述流式日志存儲系統(tǒng)對所述離線日志進(jìn)行流式化并存儲，得到用于輸入到業(yè)務(wù)實體的流式離線日志；

將所述流式離線日志輸入到業(yè)務(wù)實體進(jìn)行流式化處理，得到第二處理結(jié)果。

5.一種日志數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取業(yè)務(wù)實體針對實時日志的第一處理結(jié)果，所述第一處理結(jié)果為流式化處理所得結(jié)果；

判斷模塊，用于判斷所述第一處理結(jié)果是否滿足預(yù)設(shè)的完整度條件；

第二獲取模塊，用于若所述第一處理結(jié)果不滿足所述預(yù)設(shè)的完整度條件，則獲取離線日志；

處理模塊，用于將所述離線日志進(jìn)行流式化，并輸入到業(yè)務(wù)實體進(jìn)行流式化處理，得到第二處理結(jié)果。

6.如權(quán)利要求5所述的裝置，其特征在于，所述第二獲取模塊包括：

提取單元，用于若所述第一處理結(jié)果不滿足所述預(yù)設(shè)的完整度條件，則提取與所述實時日志對應(yīng)的數(shù)據(jù)源信息；

獲取單元，用于根據(jù)所述實時日志的數(shù)據(jù)源信息，在數(shù)據(jù)源中獲取離線日志。

7.如權(quán)利要求6所述的裝置，其特征在于，所述獲取單元包括：

判斷子單元，用于在獲取離線日志之前，判斷所述離線日志在所述數(shù)據(jù)源中是否準(zhǔn)備完成；

第一獲取子單元，用于若所述離線日志準(zhǔn)備完成，則在數(shù)據(jù)源中獲取離線日志；

第二獲取子單元，用于若所述離線日志沒有準(zhǔn)備完成，則在預(yù)設(shè)時間后，再次在數(shù)據(jù)源中獲取離線日志。

8.如權(quán)利要求5所述的裝置，其特征在于，所述處理模塊包括：

傳輸單元，用于將所述離線日志發(fā)送到流式日志存儲系統(tǒng)，通過所述流式日志存儲系統(tǒng)對所述離線日志進(jìn)行流式化并存儲，得到用于輸入到業(yè)務(wù)實體的流式離線日志；

處理單元，用于將所述流式離線日志輸入到業(yè)務(wù)實體進(jìn)行流式化處理，得到第二處理結(jié)果。

9.一種日志數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：數(shù)據(jù)源端、流式日志存儲系統(tǒng)、業(yè)務(wù)實體以及如權(quán)利要求5至8中任一所述的日志數(shù)據(jù)處理裝置；

其中，所述數(shù)據(jù)源端用于供應(yīng)實時日志或離線日志；

所述流式日志存儲系統(tǒng)用于將所述數(shù)據(jù)源端供應(yīng)的實時日志或離線日志進(jìn)行流式化并存儲；

所述業(yè)務(wù)實體用于對流式化后的實時日志或流式化后的離線日志進(jìn)行流式化處理。

10.一種電子設(shè)備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)如權(quán)利要求1至4中任一項所述的日志數(shù)據(jù)處理方法中的步驟。

11.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至4中任一項所述的日志數(shù)據(jù)處理方法中的步驟。