[發明專利]一種針對數據庫重做日志的處理方法及系統

有效

• 申請號: 201210209137.9
• 申請日: 2012-06-21
• 公開（公告）號: CN102737131A
• 公開（公告）日: 2012-10-17
• 發明（設計）人: 武良軍;袁曉鵬
• 申請（專利權）人: 廣州從興電子開發有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

技術領域

本發明涉及數據庫技術領域，具體涉及一種針對數據庫重做日志的處理方法及系統。

背景技術

當前數據庫技術中，重做（REDO）日志提供了一個對未寫入數據庫磁盤的數據的進行重做的基礎。當數據庫更新提交的時候，數據并不會即時寫入到磁盤的數據文件中，而是保存在內存當中，這就需要通過REDO日志來對該次數據庫更新提供一種持久化的支持，避免在故障的情況下，由于內存數據的丟失而導致數據丟失。

現有技術中，通常通過將數據庫更新的動作記錄在REDO日志中來避免要求每次的數據庫更新寫入數據文件，從而提高數據庫更新的性能；同時在REDO日志的寫入上又通過設置REDO日志的緩沖，來減少REDO日志寫入磁盤的頻率；而在操作系統這個層面，會對磁盤的讀寫操作進行排序來優化磁盤的讀寫操作；最后在磁盤中，還有磁盤緩存的存在，來最大限度的利用批量寫入磁盤的優勢。

可以發現，從REDO日志的產生到磁盤磁化的過程當中，依賴各類的緩沖跟延時來提高數據庫性能的措施，一方面能獲取性能提升，另一方面也存在著緩沖因為掉電等極端情況下造成數據丟失的危險。此外在高并發性、高吞吐量的數據庫操作中，目前比較多的是采用基于磁盤陣列的方式來提供容錯能力，但是基于容錯的前提下，磁盤陣列又無法做到更快的提高磁盤IO的性能。同時磁盤陣列也局限于磁盤緩存的總容量跟磁盤陣列擴展的代價不能提供線性的擴展能力。面對超負荷的REDO日志的，磁盤陣列解決方案的性能下降是無可避免的。

因此，現有技術存在以下主要缺陷：REDO日志的緩存可能因為機器掉電而丟失，磁盤緩存存在著類似問題，因此現有處理方法使得安全性降低。

發明內容

本發明提供一種針對數據庫重做日志的處理方法及系統，能夠提高數據處理的安全性。

一種針對數據庫重做日志的處理方法，包括：

構建數據庫Cassandra的內存集群；

將重做REDO日志通過冗余復制保存在Cassandra集群的內存中；

對存儲在Cassandra集群的內存中的REDO日志進行處理操作。

所述構建Cassandra的內存集群包括：

采用點對點P2P分布式技術構建Cassandra的內存集群，結合一致性哈希算法將所述內存集群形成一個環狀，所述內存集群中的每一個節點負責部分鍵值范圍的查詢任務。

所述將REDO日志通過冗余復制保存在Cassandra集群的內存中包括：

調整Cassandra集群的內存配置，將每份REDO日志在Cassandra集群的內存中的N個節點形成冗余，所述N大于1。

所述N個節點具體為3個節點。

所述對存儲在Cassandra集群的內存中的REDO日志進行處理操作包括：

對存儲在Cassandra集群的內存中的REDO日志進行至少以下一項操作：查詢、插入、刪除、恢復。

所述刪除包括：修改Cassandra在內存中的數據刪除策略，在Cassandra的Tomb?Mark的刪除基礎上增加內存記錄物理刪除功能；

所述恢復包括：將數據庫恢復時多個REDO日志的串行操作轉換為并行操作；

所述對存儲在Cassandra集群的內存中的REDO日志進行處理操作還包括：改造Cassandra集群的歸并操作，使得錯開Cassandra集群的歸并操作同REDO日志的讀寫操作。

一種數據庫系統：

包括至少一個以上內存集群服務器節點；

所述至少一個以上內存集群服務器節點構建成Cassandra的內存集群；

所述內存集群服務器節點按照冗余復制方式保存重做REDO日志，并對存儲在Cassandra集群的內存中的REDO日志進行處理操作。

所述內存集群服務器節點包括請求協調器、集群協調器、日志RID模塊；

請求協調器，用于接收對REDO日志的操作請求；

集群協調器，采用P2P分布式技術構建Cassandra的內存集群，結合一致性哈希算法將所述內存集群形成一個環狀，所述內存集群中的每一個節點負責部分鍵值范圍的查詢任務；

日志RID模塊，根據請求協調器的請求，對存儲在Cassandra集群的內存中的REDO日志進行處理操作，包括：對存儲在Cassandra集群的內存中的REDO日志進行至少以下一項操作：查詢、插入、刪除、恢復。