[發(fā)明專利]一種數(shù)據(jù)文件的管理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210263939.8
• 申請(qǐng)日: 2012-07-27
• 公開(kāi)（公告）號(hào): CN103577434B
• 公開(kāi)（公告）日: 2018-10-30
• 發(fā)明（設(shè)計(jì)）人: 王瑤
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 張穎玲;程立民

本發(fā)明公開(kāi)了一種數(shù)據(jù)文件的管理方法，在計(jì)算機(jī)系統(tǒng)中設(shè)置與數(shù)據(jù)文件對(duì)應(yīng)的虛擬文件；讀進(jìn)程通過(guò)虛擬文件讀取對(duì)應(yīng)的數(shù)據(jù)文件；寫(xiě)進(jìn)程通過(guò)虛擬文件讀取對(duì)應(yīng)的數(shù)據(jù)文件并寫(xiě)成日志文件；整理進(jìn)程讀取所述日志文件以及通過(guò)虛擬文件讀取對(duì)應(yīng)的舊數(shù)據(jù)文件，生成新數(shù)據(jù)文件，并將所述虛擬文件的對(duì)應(yīng)關(guān)系更改為對(duì)應(yīng)所述新數(shù)據(jù)文件；本發(fā)明同時(shí)還公開(kāi)了一種數(shù)據(jù)文件的管理裝置，通過(guò)本發(fā)明的方案，能夠節(jié)省采用Cache時(shí)對(duì)內(nèi)存做轉(zhuǎn)儲(chǔ)的操作，增加數(shù)據(jù)安全性，節(jié)省內(nèi)存資源；并且實(shí)現(xiàn)整理進(jìn)程與讀進(jìn)程、寫(xiě)進(jìn)程之間絕耦，運(yùn)維成本降低。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)系統(tǒng)的數(shù)據(jù)處理技術(shù)，尤其涉及一種數(shù)據(jù)文件的管理方法和裝置。

背景技術(shù)

用戶生成內(nèi)容(UGC，User Generated Content)，也有稱用戶原創(chuàng)內(nèi)容(UserCreated Content)的應(yīng)用，是一種用戶使用互聯(lián)網(wǎng)的新方式，由原來(lái)的以下載為主變成下載和上傳并重。社區(qū)網(wǎng)絡(luò)、視頻分享和博客等都是UGC的主要應(yīng)用形式。隨著全球互聯(lián)網(wǎng)業(yè)務(wù)的不斷發(fā)展，UGC業(yè)務(wù)正在日漸崛起，引起了業(yè)界的廣泛關(guān)注。

在UGC的應(yīng)用環(huán)境中，由于每一個(gè)用戶都可以生成自己的數(shù)據(jù)，海量的用戶催生出海量的數(shù)據(jù)，同時(shí)又會(huì)帶來(lái)海量的讀寫(xiě)量。如何有效低存儲(chǔ)這些用戶數(shù)據(jù)，如何提供高并發(fā)的讀寫(xiě)服務(wù)，是技術(shù)領(lǐng)域必然面臨的問(wèn)題。

通常，由計(jì)算機(jī)系統(tǒng)完成數(shù)據(jù)管理、以及讀寫(xiě)服務(wù)等操作。一般，計(jì)算機(jī)系統(tǒng)包括：

讀進(jìn)程：提供讀服務(wù)，讀取數(shù)據(jù)文件中的內(nèi)容；

寫(xiě)進(jìn)程：提供寫(xiě)服務(wù)，但由于固態(tài)硬盤(SSD，Solid State Disk)的寫(xiě)性能較差，所以在提供寫(xiě)服務(wù)時(shí)讀取數(shù)據(jù)文件并寫(xiě)成二進(jìn)制日志(Binlog)，所述Binlog用二進(jìn)制形式記錄用戶的動(dòng)作；

整理進(jìn)程：讀取舊數(shù)據(jù)文件以及Binlog，生成新的數(shù)據(jù)文件；

高速緩沖存儲(chǔ)器(Cache)：承擔(dān)讀、寫(xiě)、整理進(jìn)程的通信通道的角色。

如圖1所示的計(jì)算機(jī)系統(tǒng)，r表示讀動(dòng)作，w表示寫(xiě)動(dòng)作，c表示創(chuàng)建動(dòng)作；由于SSD寫(xiě)性能很差，所以寫(xiě)進(jìn)程在收到寫(xiě)操作時(shí)，讀取數(shù)據(jù)文件并寫(xiě)成Binlog文件，到一定的周期(如7天)時(shí)，整理進(jìn)程根據(jù)舊數(shù)據(jù)文件以及Binlog文件，可以生成新數(shù)據(jù)文件；在生成新數(shù)據(jù)文件后，整理進(jìn)程通過(guò)Cache通知讀進(jìn)程和寫(xiě)進(jìn)程新數(shù)據(jù)文件的存儲(chǔ)路徑，將讀寫(xiě)舊數(shù)據(jù)文件的服務(wù)切換到讀寫(xiě)新數(shù)據(jù)文件上；圖1中虛線箭頭表示的是新的操作關(guān)系，當(dāng)讀進(jìn)程或?qū)戇M(jìn)程操作新數(shù)據(jù)文件時(shí)，不再操作舊數(shù)據(jù)文件，舊數(shù)據(jù)文件可廢棄或做備份使用。

圖1所示的計(jì)算機(jī)系統(tǒng)有如下缺陷：

1)整理進(jìn)程通過(guò)Cache與讀、寫(xiě)進(jìn)程通信，需要對(duì)Cache做轉(zhuǎn)儲(chǔ)(dump)操作，即：在特定時(shí)刻，將整個(gè)Cache或部分Cache的內(nèi)容記錄在磁盤中，否則當(dāng)出現(xiàn)機(jī)器重啟時(shí)，讀、寫(xiě)進(jìn)程不知道操作哪個(gè)數(shù)據(jù)文件提供服務(wù)；

2)讀、寫(xiě)進(jìn)程切換數(shù)據(jù)文件的復(fù)雜度高；因?yàn)樽x、寫(xiě)進(jìn)程在每次服務(wù)請(qǐng)求都需要做一系列的判斷操作才能讀取到正確的數(shù)據(jù)文件，而這些判斷操作復(fù)雜度是較高的；所述判斷操作是指判斷是否有新數(shù)據(jù)文件產(chǎn)生等操作；

3)讀、寫(xiě)、整理進(jìn)程之間有耦合，邏輯上三者需要通過(guò)Cache進(jìn)行通信；

4)由于Cache會(huì)占用一部分內(nèi)存，內(nèi)存資源消耗大；

5)風(fēng)險(xiǎn)高；如果Cache在dump前重啟，需要面臨用戶數(shù)據(jù)回退的風(fēng)險(xiǎn)；

6)系統(tǒng)復(fù)雜度高；圖1只給出了計(jì)算機(jī)系統(tǒng)對(duì)兩個(gè)數(shù)據(jù)文件切換的場(chǎng)景，而實(shí)際系統(tǒng)中有成千上萬(wàn)的數(shù)據(jù)文件需要進(jìn)行管理，系統(tǒng)復(fù)雜度是非常高的。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種數(shù)據(jù)文件的管理方法和裝置，能提高數(shù)據(jù)安全性，節(jié)省內(nèi)存資源。