[發(fā)明專(zhuān)利]數(shù)據(jù)庫(kù)日志的處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410709417.5
• 申請(qǐng)日: 2014-11-27
• 公開(kāi)（公告）號(hào): CN104391954B
• 公開(kāi)（公告）日: 2019-04-09
• 發(fā)明（設(shè)計(jì)）人: 戴飛;張同欣;劉凱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類(lèi)號(hào): G06F16/27
• 分類(lèi)號(hào): G06F16/27;G06F16/958
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 吳貴明;張永明

本發(fā)明公開(kāi)了一種數(shù)據(jù)庫(kù)日志的處理方法及裝置。其中，該方法包括：獲取日志文件；讀取日志文件的分割規(guī)則；按照分割規(guī)則對(duì)日志文件進(jìn)行分割，得到至少兩個(gè)預(yù)處理日志文件；將至少兩個(gè)預(yù)處理日志文件依次寫(xiě)入預(yù)處理數(shù)據(jù)庫(kù)。本發(fā)明解決了現(xiàn)有技術(shù)中對(duì)整個(gè)日志文件進(jìn)行反復(fù)讀寫(xiě)操作使得網(wǎng)站訪問(wèn)日志文件的預(yù)處理耗時(shí)長(zhǎng)，導(dǎo)致日志處理的效率低的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)庫(kù)日志的處理方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)站的訪問(wèn)量和數(shù)據(jù)量都直線上升，單臺(tái)服務(wù)器已經(jīng)無(wú)法滿(mǎn)足應(yīng)用需要了。所以，目前較為常用的做法是采用計(jì)算機(jī)集群均衡負(fù)載的方法，通過(guò)一個(gè)或者多個(gè)前端負(fù)載服務(wù)器，將服務(wù)器的負(fù)載分發(fā)到后端的一組服務(wù)器上，后端服務(wù)器收到請(qǐng)求并記錄日志。

隨著網(wǎng)站訪問(wèn)量的增長(zhǎng)，用于記錄服務(wù)器收到訪問(wèn)請(qǐng)求的日志文件也隨著網(wǎng)站訪問(wèn)量的增長(zhǎng)而不斷膨脹。但是，對(duì)日志文件在處理時(shí)間上的要求并沒(méi)有降低。因此，如何提高日志文件的處理效率，成為必須面臨的問(wèn)題。

一般的日志處理方法是直接讀取原始日志文件，然后對(duì)原始日志文件中的數(shù)據(jù)進(jìn)行分析。因?yàn)槿罩疚募旧矸浅｝嫶螅艿酱疟P(pán)讀寫(xiě)速度的制約，日志文件的讀取速度十分緩慢。并且在對(duì)日志文件進(jìn)行不同的分析時(shí)都要重新讀取所有的原始日志，這樣導(dǎo)致效率很低。

針對(duì)現(xiàn)有技術(shù)中對(duì)整個(gè)日志文件進(jìn)行反復(fù)讀寫(xiě)操作使得網(wǎng)站訪問(wèn)日志文件的預(yù)處理耗時(shí)長(zhǎng)，導(dǎo)致日志處理的效率低的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種數(shù)據(jù)庫(kù)日志的處理方法及裝置，以解決現(xiàn)有技術(shù)中對(duì)整個(gè)日志文件進(jìn)行反復(fù)讀寫(xiě)操作使得網(wǎng)站訪問(wèn)日志文件的預(yù)處理耗時(shí)長(zhǎng)，導(dǎo)致日志處理的效率低的問(wèn)題。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)庫(kù)日志的處理方法。該方法包括：獲取日志文件；讀取日志文件的分割規(guī)則；按照分割規(guī)則對(duì)日志文件進(jìn)行分割，得到至少兩個(gè)預(yù)處理日志文件；將至少兩個(gè)預(yù)處理日志文件依次寫(xiě)入預(yù)處理數(shù)據(jù)庫(kù)。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的另一方面，提供了一種數(shù)據(jù)庫(kù)日志的處理裝置，該裝置包括第一獲取模塊，用于獲取日志文件；第一讀取模塊，用于讀取日志文件的分割規(guī)則；分割模塊，用于按照分割規(guī)則對(duì)日志文件進(jìn)行分割，得到至少兩個(gè)預(yù)處理日志文件；第一存儲(chǔ)模塊，用于將至少兩個(gè)預(yù)處理日志文件依次寫(xiě)入預(yù)處理數(shù)據(jù)庫(kù)。

根據(jù)發(fā)明實(shí)施例，通過(guò)獲取日志文件；讀取日志文件的分割規(guī)則；按照分割規(guī)則對(duì)日志文件進(jìn)行分割，得到至少兩個(gè)預(yù)處理日志文件；將至少兩個(gè)預(yù)處理日志文件依次寫(xiě)入預(yù)處理數(shù)據(jù)庫(kù)，解決了現(xiàn)有技術(shù)對(duì)整個(gè)日志文件進(jìn)行反復(fù)讀寫(xiě)操作使得網(wǎng)站訪問(wèn)日志文件的預(yù)處理耗時(shí)長(zhǎng)，導(dǎo)致日志處理的效率低的問(wèn)題。實(shí)現(xiàn)了提高對(duì)日志文件的處理速度和處理效率的效果。

附圖說(shuō)明

構(gòu)成本申請(qǐng)的一部分的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明實(shí)施例一的數(shù)據(jù)庫(kù)日志的處理方法的流程圖；

圖2是根據(jù)本發(fā)明實(shí)施例一優(yōu)選的數(shù)據(jù)庫(kù)日志的處理方法的流程圖；

圖3是根據(jù)本發(fā)明實(shí)施例一優(yōu)選的數(shù)據(jù)庫(kù)日志的處理方法的流程圖；

圖4是根據(jù)本發(fā)明實(shí)施例二數(shù)據(jù)庫(kù)日志的處理裝置的結(jié)構(gòu)示意圖；

圖5是根據(jù)本發(fā)明實(shí)施例二優(yōu)選的數(shù)據(jù)庫(kù)日志的處理裝置的結(jié)構(gòu)示意圖；以及

圖6是根據(jù)本發(fā)明實(shí)施例二優(yōu)選的數(shù)據(jù)庫(kù)日志的處理裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式