[發明專利]數據庫日志的處理方法及裝置

有效

• 申請號: 201410709417.5
• 申請日: 2014-11-27
• 公開（公告）號: CN104391954B
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 戴飛;張同欣;劉凱
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/958
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 吳貴明;張永明

1.一種數據庫日志的處理方法，其特征在于，包括：

獲取日志文件；

讀取所述日志文件的分割規則；

按照所述分割規則對所述日志文件進行分割，得到至少兩個預處理日志文件；

將所述至少兩個預處理日志文件依次寫入預處理數據庫；

其中，所述將所述至少兩個預處理日志文件依次寫入預處理數據庫的步驟包括：

讀取所述日志文件的文件屬性，其中，所述文件屬性至少包括：日志記錄起始時間和日志記錄終止時間；

根據所述文件屬性，修改所述預處理數據庫的時間配置信息；

根據所述時間配置信息，讀取與所述時間配置信息對應的所述預處理日志文件；

依次將與所述時間配置信息對應的所述預處理日志文件寫入所述預處理數據庫。

2.根據權利要求1所述的方法，其特征在于，在將所述至少兩個預處理日志文件依次寫入預處理數據庫之后，所述方法還包括：

根據所述時間配置信息，計算得到分析處理時段；

按照所述分析處理時段，讀取所述預處理數據庫中的所述預處理日志文件；

分析所述預處理日志文件，得到標準日志數據表；

將所述標準日志數據表寫入日志數據庫。

3.根據權利要求2所述的方法，其特征在于，所述分析所述預處理日志文件，得到標準日志數據表的步驟包括：

將所述預處理日志文件的日志內容進行抽取，得到目標數據；

根據預先設置的目標數據類型，將所述目標數據轉換為目標數據類型得到處理結果；

匯總所述處理結果，生成標準日志數據表。

4.根據權利要求2所述的方法，其特征在于，在所述讀取對日志文件的分割規則之前，所述方法包括：

獲取日志文件的容量大小；

讀取預先設置的容量閾值；

根據所述日志文件的容量大小和所述容量閾值，判斷是否對所述日志文件進行分割；

其中，當所述日志文件的容量大于所述容量閾值時，確定對所述日志文件進行分割處理；

當所述日志文件的容量小于等于所述容量閾值時，確定不對所述日志文件進行分割處理。

5.根據權利要求1至4中任意一項所述的方法，其特征在于，所述分割規則至少包括：固定份數分割法、固定容量分割法。

6.根據權利要求5所述的方法，其特征在于，當所述分割規則為固定份數分割法時，所述按照所述分割規則對所述日志文件進行分割，得到至少兩個預處理日志文件的步驟包括：

讀取預先設置的分割份數；

按照所述分割份數平均分割所述日志文件，得到固定份數的所述預處理日志文件。

7.根據權利要求5所述的方法，其特征在于，當所述分割規則為固定容量分割法時，所述按照所述分割規則對所述日志文件進行分割，得到至少兩個預處理日志文件的步驟包括：

讀取預先設置的分割容量；

按照所述分割容量對所述日志文件進行分割，得到若干容量相同的所述預處理日志文件。

8.一種數據庫日志的處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取日志文件；

第一讀取模塊，用于讀取所述日志文件的分割規則；

分割模塊，用于按照所述分割規則對所述日志文件進行分割，得到至少兩個預處理日志文件；

第一存儲模塊，用于將所述至少兩個預處理日志文件依次寫入預處理數據庫；

其中，所述裝置還包括：

計算模塊，用于根據時間配置信息，計算得到分析處理時段；

第二讀取模塊，用于按照所述分析處理時段，讀取所述預處理數據庫中的所述預處理日志文件；

處理模塊，用于分析所述預處理日志文件，得到標準日志數據表；

第二存儲模塊，用于將所述標準日志數據表寫入日志數據庫。

9.根據權利要求8所述的裝置，其特征在于，所述裝置還包括：

第二獲取模塊，用于獲取日志文件的容量大小；

第三讀取模塊，用于讀取預先設置的容量閾值，其中，所述容量閾值用于判斷所述日志文件的大小；

判斷模塊，用于根據所述日志文件的容量大小和所述容量閾值，判斷是否對所述日志文件進行分割；

其中，當所述日志文件的容量大于所述容量閾值時，確定對所述日志文件進行分割處理；

當所述日志文件的容量小于等于所述容量閾值時，確定不對所述日志文件進行分割處理。