[發明專利]海量日志寫入數據庫的方法、裝置和日志容災系統

有效

• 申請號: 201310580987.4
• 申請日: 2013-11-18
• 公開（公告）號: CN104657366B
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 張元龍;李瀟
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/18
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩;褚敏

1.一種海量日志寫入數據庫的方法，其特征在于，所述方法包括：

將日志產生裝置生成并通過接口服務器發送的日志寫入緩沖區進行緩存；

從所述緩沖區讀取所述日志；

按照順序寫磁盤的操作方式將所述讀取的日志保存至數據庫；

其中，所述緩沖區為環狀緩沖區；

所述從所述緩沖區讀取所述日志包括：

若H+N<K，則將所述環狀緩沖區的第H字節至第H+N－1字節的日志內容導出，所述H為所述環狀緩沖區當前頭部對應的字節所在的序號，所述N為單條數據所占字節數，所述K為所述環狀緩沖區的大小，量綱為字節；

若H+N≥K，則讀取所述環狀緩沖區的第H字節至第K－1字節以及第0字節至第N－1－K+H字節的日志內容。

2.根據權利要求1所述的方法，其特征在于，所述將日志產生裝置生成并通過接口服務器發送的日志寫入緩沖區進行緩存，包括：

將所述日志產生裝置生成并通過接口服務器發送的日志從所述環狀緩沖區的尾部寫入所述環狀緩沖區。

3.根據權利要求1或2所述的方法，其特征在于，所述按照順序寫磁盤的操作方式將所述讀取的日志保存至數據庫，包括：

以MyIsam格式將所述讀取的日志寫入數據庫所在的磁盤形成MyIsam格式的數據庫表，所述MyIsam格式的數據庫表包括MYD文件；

在寫入新的日志數據時從所述MYD文件的末尾追加數據。

4.一種海量日志寫入數據庫的裝置，其特征在于，所述裝置包括：

緩存模塊，用于將日志產生裝置生成并通過接口服務器發送的日志寫入緩沖區進行緩存；

讀取模塊，用于從所述緩沖區讀取所述日志；

寫入模塊，用于按照順序寫磁盤的操作方式將所述讀取的日志保存至數據庫；

其中，所述緩沖區為環狀緩沖區；

所述讀取模塊包括：

第一讀取單元，用于若H+N<K，則將所述環狀緩沖區的第H字節至第H+N－1字節的日志內容導出，所述H為所述環狀緩沖區當前頭部對應的字節所在的序號，所述N為單條數據所占字節數，所述K為所述環狀緩沖區的大小，量綱為字節；

第二讀取單元，用于若H+N≥K，則讀取所述環狀緩沖區的第H字節至第K－1字節以及第0字節至第N－1－K+H字節的日志內容。

5.根據權利要求4所述的裝置，其特征在于，所述緩存模塊包括：

尾部寫入單元，用于將所述日志產生裝置生成并通過接口服務器發送的日志從所述環狀緩沖區的尾部寫入所述環狀緩沖區。

6.根據權利要求4或5所述的裝置，其特征在于，所述寫入模塊包括：

生成單元，用于以MyIsam格式將所述讀取的日志寫入數據庫所在的磁盤形成MyIsam格式的數據庫表，所述MyIsam格式的數據庫表包括MYD文件；

尾部追加單元，用于在寫入新的日志數據時從所述MYD文件的末尾追加數據。

7.一種日志容災系統，其特征在于，所述系統包括接口服務器、主日志服務器和備日志服務器；

所述接口服務器，用于將日志產生裝置生成的日志按照同一日志內容制作成正本和副本的方式分別發送至所述主日志服務器和備日志服務器；

所述主日志服務器或備日志服務器用于執行如下方法步驟：將日志產生裝置生成并通過接口服務器發送的日志寫入緩沖區進行緩存；從所述緩沖區讀取所述日志；按照順序寫磁盤的操作方式將所述讀取的日志保存至數據庫；

其中，所述緩沖區為環狀緩沖區；

所述主日志服務器或備日志服務器還用于執行如下方法步驟：若H+N<K，則將所述環狀緩沖區的第H字節至第H+N－1字節的日志內容導出，所述H為所述環狀緩沖區當前頭部對應的字節所在的序號，所述N為單條數據所占字節數，所述K為所述環狀緩沖區的大小，量綱為字節；

若H+N≥K，則讀取所述環狀緩沖區的第H字節至第K－1字節以及第0字節至第N－1－K+H字節的日志內容。