[發(fā)明專利]基于海量文件的處理結(jié)果日志合并裝置及方法

在審

• 申請?zhí)枺?/td>: 201711184194.5
• 申請日: 2017-11-23
• 公開（公告）號: CN107959587A
• 公開（公告）日: 2018-04-24
• 發(fā)明（設(shè)計）人: 魏曉林
• 申請（專利權(quán)）人: 上海斐訊數(shù)據(jù)通信技術(shù)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/30
• 代理公司: 上海碩力知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)31251
• 代理人: 郭桂峰

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種基于海量文件的處理結(jié)果日志合并裝置及方法。

背景技術(shù)

隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來越大，如，在對移動終端日志信息進(jìn)行收集的時候，會得到海量的日志文件。一般來說，在對這些日志文件進(jìn)行處理的過程中，前期會采用多線程對日志文件進(jìn)行解壓、解密和解析，一一對應(yīng)的生成海量日志文件的處理結(jié)果；在后續(xù)的數(shù)據(jù)分析過程中，往往又需要將這些日志文件的處理結(jié)果進(jìn)行合并操作。無疑，海量日志文件的處理和合并操作，對處理服務(wù)器的性能要求很高，處理的時間也會很長。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于海量文件的處理結(jié)果日志合并裝置及方法，有效解決現(xiàn)有技術(shù)中海量文件的處理結(jié)果日志合并效率低下的技術(shù)問題。

本發(fā)明提供的技術(shù)方案如下：

一種基于海量文件的處理結(jié)果日志合并裝置，包括：

定時模塊，用于設(shè)定觸發(fā)文件處理結(jié)果日志進(jìn)行合并操作的至少一個一級觸發(fā)時間；

文件處理模塊，用于依次對海量文件進(jìn)行處理得到結(jié)果日志，所述結(jié)果日志以文件處理的時間命名；

判斷模塊，與所述定時模塊連接，用于判斷所述定時模塊是否到達(dá)預(yù)先設(shè)定的一級觸發(fā)時間；

日志合并模塊，分別與所述文件處理模塊和判斷模塊連接，當(dāng)判斷模塊判斷出定時模塊達(dá)到預(yù)先設(shè)定的一級觸發(fā)時間，根據(jù)結(jié)果日志的名稱，將第一預(yù)設(shè)時間段內(nèi)生成的結(jié)果日志進(jìn)行合并得到一級合并日志，所述一級合并日志以合并的時間命名。

在本技術(shù)方案中，根據(jù)定時模塊設(shè)定的一級觸發(fā)時間，對預(yù)設(shè)時間內(nèi)生成的結(jié)果日志進(jìn)行合并。在實際應(yīng)用中，可以根據(jù)實際情況設(shè)定多個一級觸發(fā)時間，分時間段對結(jié)果日志進(jìn)行合并，相對于現(xiàn)有技術(shù)中長時間段內(nèi)對結(jié)果日志進(jìn)行合并的技術(shù)方案來說，大大提高了結(jié)果日志的合并效率，節(jié)約了合并時間。

進(jìn)一步優(yōu)選地，在文件處理模塊開始對海量文件進(jìn)行處理的同時，定時模塊開始計時；當(dāng)判斷模塊判斷定時模塊達(dá)到預(yù)先設(shè)定的一級觸發(fā)時間，日志合并模塊將預(yù)設(shè)時間段內(nèi)文件處理模塊生成的結(jié)果日志進(jìn)行合并。

在本技術(shù)方案中，在對文件進(jìn)行處理的過程中同步對生成的結(jié)果日志進(jìn)行合并操作，大大提高了海量文件的處理效率，節(jié)約了對結(jié)果日志的合并時間。

進(jìn)一步優(yōu)選地，所述定時模塊用于根據(jù)合并類別設(shè)定觸發(fā)文件處理結(jié)果日志進(jìn)行合并操作的多個觸發(fā)時間，所述觸發(fā)時間包括至少一個一級觸發(fā)時間，還包括至少一個N級觸發(fā)時間，其中，N≥2；

所述判斷模塊用于判斷所述定時模塊是否到達(dá)預(yù)先設(shè)定的觸發(fā)時間，并用于判斷觸發(fā)時間所屬級別；

當(dāng)判斷模塊判斷出定時模塊達(dá)到預(yù)先設(shè)定的N級觸發(fā)時間，根據(jù)N-1級合并日志的名稱，將第N預(yù)設(shè)時間段內(nèi)生成的N-1級合并日志進(jìn)行合并得到N級合并日志，所述N級合并日志以合并的時間命名。

在本技術(shù)方案中，可以根據(jù)需求，對日志文件進(jìn)行分級合并，提高了海量文件的處理效率的同時，便于管理。

進(jìn)一步優(yōu)選地，在所述文件處理模塊中，依次對海量文件進(jìn)行處理得到結(jié)果日志并將其存儲在第一存儲路徑下，所述第一存儲路徑下存儲第一預(yù)設(shè)時間段內(nèi)生成的結(jié)果日志；

當(dāng)判斷模塊判斷出定時模塊達(dá)到預(yù)先設(shè)定的一級觸發(fā)時間，日志合并模塊將第一存儲路徑下的所有結(jié)果日志進(jìn)行合并得到一級合并日志并將其存儲在第二存儲路徑下。

在本技術(shù)方案中，為了進(jìn)一步節(jié)約結(jié)果日志合并的時間，將第一預(yù)設(shè)時間段內(nèi)生成的結(jié)果日志存儲在指定的第一存儲路徑下，在合并的過程中，直接將第一存儲路徑下的結(jié)果日志進(jìn)行合并即可。

進(jìn)一步優(yōu)選地，所述定時模塊用于根據(jù)合并類別設(shè)定觸發(fā)文件處理結(jié)果日志進(jìn)行合并操作的多個觸發(fā)時間，所述觸發(fā)時間包括至少一個一級觸發(fā)時間，還包括至少一個N級觸發(fā)時間，其中，N≥2；

當(dāng)判斷模塊判斷出定時模塊達(dá)到預(yù)先設(shè)定的N級觸發(fā)時間，日志合并模塊將第N存儲路徑下的所有N-1級合并日志進(jìn)行合并得到N級合并日志，其中，第N存儲路徑下存儲有第N預(yù)設(shè)時間段內(nèi)生成的N-1級合并日志。

在本技術(shù)方案中，為了進(jìn)一步節(jié)約結(jié)果日志合并的時間，依次將不同合并類別將生成的合并日志存儲在相應(yīng)的存儲路徑下，便于合并和管理。

本發(fā)明還提供了一種基于海量文件的處理結(jié)果日志合并方法，包括：

設(shè)定觸發(fā)文件處理結(jié)果日志進(jìn)行合并操作的至少一個一級觸發(fā)時間；

依次對海量文件進(jìn)行處理得到結(jié)果日志，所述結(jié)果日志以文件處理的時間命名；