[發(fā)明專利]海量日志寫入數(shù)據(jù)庫的方法、裝置和日志容災(zāi)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310580987.4
• 申請(qǐng)日: 2013-11-18
• 公開（公告）號(hào): CN104657366B
• 公開（公告）日: 2019-05-24
• 發(fā)明（設(shè)計(jì)）人: 張?jiān)?/a>;李瀟
• 申請(qǐng)（專利權(quán)）人: 深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司
• 主分類號(hào): G06F16/172
• 分類號(hào): G06F16/172;G06F16/18
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 董文倩;褚敏

本發(fā)明公開了一種海量日志寫入數(shù)據(jù)庫的方法、裝置和日志容災(zāi)系統(tǒng)，以在日志產(chǎn)生裝置產(chǎn)生大量日志時(shí)減小日志入庫的丟失率。所述方法包括：將日志產(chǎn)生裝置生成并通過接口服務(wù)器發(fā)送的日志寫入緩沖區(qū)進(jìn)行緩存；從緩沖區(qū)讀取日志；按照順序?qū)懘疟P的操作方式將讀取的日志保存至數(shù)據(jù)庫。由于日志在寫入數(shù)據(jù)前可在緩沖區(qū)進(jìn)行緩存，由此可以減輕在網(wǎng)絡(luò)I/O速度較大時(shí)日志入庫的寫磁盤壓力，另一方面，在從緩沖區(qū)讀取日志后，是按照順序?qū)懘疟P的操作方式將日志保存至數(shù)據(jù)庫，由于順序?qū)懘疟P的速度遠(yuǎn)遠(yuǎn)大于隨機(jī)寫磁盤的速度，因此，本發(fā)明提供的日志入庫時(shí)寫磁盤的方式大大提高了日志寫入數(shù)據(jù)庫的速度，減小了網(wǎng)絡(luò)I/O速度較大時(shí)導(dǎo)致的日志入庫的丟失率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，具體涉及海量日志寫入數(shù)據(jù)庫的方法、裝置和日志容災(zāi)系統(tǒng)。

背景技術(shù)

日志是對(duì)用戶在終端或通過終端所進(jìn)行的一些行為的記錄，這種記錄一旦被保存下來，便可以作為以后查詢、跟蹤和分析的依據(jù)。日志的類型很多，常見的例如網(wǎng)站日志，是記錄Web服務(wù)器接收處理請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各種原始信息的文件，網(wǎng)站日志最大的意義是記錄網(wǎng)站運(yùn)營中空間的運(yùn)營情況和被訪問請(qǐng)求的記錄等內(nèi)容。再如，在電話系統(tǒng)中，每產(chǎn)生一次通話，日志系統(tǒng)將會(huì)記錄該通話的雙方號(hào)碼、起始時(shí)間、產(chǎn)生的話費(fèi)等，這些內(nèi)容也被稱為日志。類似的還有銀行的存取款記錄和即時(shí)通信軟件的登錄記錄等也可以稱為日志。

產(chǎn)生日志的裝置可以是處理業(yè)務(wù)的終端（例如，ATM機(jī)），也可以是處理該業(yè)務(wù)的后臺(tái)服務(wù)器（例如，電話交換機(jī)和計(jì)費(fèi)服務(wù)器等），而接收和保存日志的服務(wù)器被稱為日志服務(wù)器。日志可以由日志服務(wù)器保存在文件中，也可以通過向數(shù)據(jù)庫寫入日志從而將日志保存在數(shù)據(jù)庫中，其中，后者因?yàn)槠湟坠芾硇远蔀橹髁鳌?/p>

現(xiàn)有技術(shù)提供的一種將日志寫入數(shù)據(jù)庫的方法是首先將日志產(chǎn)生裝置和日志服務(wù)器分開，即采用專門的日志服務(wù)器來接收和保存日志。日志產(chǎn)生裝置將日志發(fā)送到日志服務(wù)器特定的網(wǎng)絡(luò)端口（通常需要定義內(nèi)部協(xié)議），日志服務(wù)器負(fù)責(zé)監(jiān)聽特定的網(wǎng)絡(luò)端口，一旦有日志到達(dá)，就將日志接收下來，保存到磁盤，其中，保存到磁盤的一種方式是將日志直接插入到數(shù)據(jù)庫，另一種方式先將日志保存到文件，再用數(shù)據(jù)庫插入裝置（inserter）讀取文件內(nèi)容，將日志 一次一行地或一次多行地插入到數(shù)據(jù)庫中。

然而，對(duì)于上述現(xiàn)有的將日志寫入數(shù)據(jù)庫的方法，在保存日志時(shí)無論采取上述兩種保存方式中的哪一種，都面臨一個(gè)重要的問題：磁盤輸入輸出（Input/Output，I/O）的速度趕不上網(wǎng)絡(luò)I/O的速度。在海量日志即日志量很大時(shí)會(huì)導(dǎo)致日志來不及寫而丟失，嚴(yán)重情況下，日志的丟失率可達(dá)90%甚至更高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供海量日志寫入數(shù)據(jù)庫的方法、裝置和日志容災(zāi)系統(tǒng)，以在日志產(chǎn)生裝置產(chǎn)生大量日志時(shí)減小日志入庫的丟失率。

本發(fā)明實(shí)施例提供一種海量日志寫入數(shù)據(jù)庫的方法，所述方法包括：

將日志產(chǎn)生裝置生成并通過接口服務(wù)器發(fā)送的日志寫入緩沖區(qū)進(jìn)行緩存；

從所述緩沖區(qū)讀取所述日志；

按照順序?qū)懘疟P的操作方式將所述讀取的日志保存至數(shù)據(jù)庫。

本發(fā)明另一實(shí)施例提供一種海量日志寫入數(shù)據(jù)庫的裝置，所述裝置包括：

緩存模塊，用于將日志產(chǎn)生裝置生成并通過接口服務(wù)器發(fā)送的日志寫入緩沖區(qū)進(jìn)行緩存；

讀取模塊，用于從所述緩沖區(qū)讀取所述日志；

寫入模塊，用于按照順序?qū)懘疟P的操作方式將所述讀取的日志保存至數(shù)據(jù)庫。

本發(fā)明另一實(shí)施例提供一種日志容災(zāi)系統(tǒng)，所述系統(tǒng)包括接口服務(wù)器、主日志服務(wù)器和備日志服務(wù)器；

所述接口服務(wù)器，用于將日志產(chǎn)生裝置生成的日志按照同一日志內(nèi)容制作成正本和副本的方式分別發(fā)送至所述主日志服務(wù)器和備日志服務(wù)器；