[發(fā)明專利]一種時間序列數(shù)據(jù)分析方法及裝置

在審

• 申請?zhí)枺?/td>: 201410447008.2
• 申請日: 2014-09-03
• 公開（公告）號: CN104239475A
• 公開（公告）日: 2014-12-24
• 發(fā)明（設(shè)計）人: 陳軍;梁玫娟
• 申請（專利權(quán)）人: 北京優(yōu)特捷信息技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/34
• 代理公司: 北京尚倫律師事務(wù)所 11477
• 代理人: 張俊國

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種時間序列數(shù)據(jù)分析方法及裝置。

背景技術(shù)

在信息技術(shù)飛速發(fā)展的今天，人們在各種社會和經(jīng)濟(jì)活動中產(chǎn)生大量的數(shù)字信息，企業(yè)信息技術(shù)基礎(chǔ)設(shè)施建設(shè)規(guī)模不斷擴(kuò)大，IT監(jiān)控、運維系統(tǒng)也得到廣泛運用，同時各種傳感器、智能家電產(chǎn)生的數(shù)據(jù)，以及各種交易系統(tǒng)(證券交易系統(tǒng)、電子商務(wù)交易系統(tǒng))產(chǎn)生的日志數(shù)量巨大，格式也不盡相同，很難得到利用。

由于日志的格式多種多樣，想要利用日志價值首先需要對日志進(jìn)行準(zhǔn)確識別，對于多行日志，如果不能正確識別出多行屬于同一事件，則大大影響數(shù)據(jù)分析的準(zhǔn)確性和有效性。

現(xiàn)有技術(shù)大部分將每行日志視為一條事件，或者需要用戶抓住每條日志的特點進(jìn)行處理。例如使用awk，將每條以[日期時間]為開頭的日志正確顯示。

awk-F|'{if($0～/^/[2009-05-01/){printf/n％s,$0}else{printf％s,$0}}END{printf/n}'test1.log|sed-n'2,$p'>test2.log

但是，大部分日志都是不分行的，即一行日志對應(yīng)一個事件。但某些日志是多行的，如Java程序的traceback，幾十行日志對應(yīng)一個事件。在處理這種日志的時候，需要把traceback的幾十行日志歸并為一個事件來處理。為此，日志分析技術(shù)人員常常需要學(xué)習(xí)掌握相關(guān)技術(shù)編寫程序或正則表達(dá)式以對多行日志進(jìn)行處理，浪費大量時間和人力物力。

發(fā)明內(nèi)容

本發(fā)明提供一種時間序列數(shù)據(jù)分析方法及裝置，用以準(zhǔn)確高效地將多行時間序列數(shù)據(jù)合并為一個事件。

本發(fā)明提供一種時間序列數(shù)據(jù)分析方法，包括：

在時間序列數(shù)據(jù)中查找起始符；

根據(jù)預(yù)設(shè)的第一特征信息對所述起始符之后的時間序列數(shù)據(jù)進(jìn)行匹配；

將匹配得到的時間序列數(shù)據(jù)合并為同一事件，得到分析結(jié)果。

可選的，所述方法還包括：

顯示提示信息，所述提示信息用于提示用戶確認(rèn)所述分析結(jié)果是否正確；

當(dāng)根據(jù)用戶操作確認(rèn)所述分析結(jié)果不正確時，獲取用戶輸入的第二特征信息；

根據(jù)所述第二特征信息對所述起始符之后的時間序列數(shù)據(jù)進(jìn)行匹配；

將根據(jù)所述第二特征信息匹配得到的時間序列數(shù)據(jù)合并為同一事件。

可選的，所述方法還包括：

顯示提示信息，所述提示信息用于提示用戶確認(rèn)所述分析結(jié)果是否正確；

當(dāng)根據(jù)用戶操作確認(rèn)所述分析結(jié)果不正確時，生成第三特征信息；

根據(jù)所述第三特征信息對所述起始符之后的時間序列數(shù)據(jù)進(jìn)行匹配；

將根據(jù)所述第三特征信息匹配得到的時間序列數(shù)據(jù)合并為同一事件

可選的，所述第一特征信息、第二特征信息或第三特征信息包括以下至少一種信息：正則表達(dá)式，非字母、非數(shù)字的特殊字符，和文本特征模板。

本發(fā)明提供一種時間序列數(shù)據(jù)分析裝置，包括：

查找模塊，用于在時間序列數(shù)據(jù)中查找起始符；

匹配模塊，用于根據(jù)預(yù)設(shè)的第一特征信息對所述起始符之后的時間序列數(shù)據(jù)進(jìn)行匹配；

合并模塊，用于將匹配得到的時間序列數(shù)據(jù)合并為同一事件，得到分析結(jié)果。

可選的，所述裝置還包括：

顯示模塊，用于顯示提示信息，所述提示信息用于提示用戶確認(rèn)所述分析結(jié)果是否正確；

獲取模塊，用于當(dāng)根據(jù)用戶操作確認(rèn)所述分析結(jié)果不正確時，獲取用戶輸入的第二特征信息；

所述匹配模塊，用于根據(jù)所述第二特征信息對所述起始符之后的時間序列數(shù)據(jù)進(jìn)行匹配；

所述合并模塊，用于將根據(jù)所述第二特征信息匹配得到的時間序列數(shù)據(jù)合并為同一事件。

可選的，所述裝置還包括：

顯示模塊，用于顯示提示信息，所述提示信息用于提示用戶確認(rèn)所述分析結(jié)果是否正確；

生成模塊，用于當(dāng)根據(jù)用戶操作確認(rèn)所述分析結(jié)果不正確時，生成第三特征信息；

所述匹配模塊，用于根據(jù)所述第三特征信息對所述起始符之后的時間序列數(shù)據(jù)進(jìn)行匹配；

所述合并模塊，用于將根據(jù)所述第三特征信息匹配得到的時間序列數(shù)據(jù)合并為同一事件。

本實施例中，通過將多行日志合并為一個事件，提高數(shù)據(jù)分析的準(zhǔn)確性和有效性。并且，用戶操作方便，無需自行編寫程序，也不需要掌握正則表達(dá)式的寫法以及其他語句的運用，只需要輸入每行日志的換行符即可實現(xiàn)對多行日志的分析合并。