[發明專利]記錄組織方法和記錄組織結構

有效

• 申請號: 201210357225.3
• 申請日: 2012-09-21
• 公開（公告）號: CN102929789A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 馬照云;楊浩;馬振杰;苗艷超;劉新春;邵宗有
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F12/02
• 分類號: G06F12/02
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;孫征

技術領域

本發明涉及數據服務器的存儲系統，更具體地，涉及記錄的記錄組織方法和記錄組織結構。

背景技術

在并行存儲系統中，經常需要記錄一些輔助記錄或者索引。例如當磁盤損壞后為了對其上面的數據進行快速恢復，需要記錄該磁盤上都存在哪些對象，這就需要在文件創建時添加記錄、刪除時刪除對應記錄。此外，由于數據服務器是多副本的，所以還需要記錄不一致對象，修復完成后刪除對應記錄。為了提高元數據性能，刪除采用了異步方式，即，在元數據服務器上置刪除標志后即應答客戶端，真正的inode(索引節點)及數據的清除是由垃圾回收線程處理的。此外，配額功能也需要記錄哪些文件發生了所有者修改等操作，由后臺線程向數據服務器發送消息修改相關配額信息。為了防止斷電記錄丟失進而導致部分操作不能完成，這些記錄需要記錄到底層磁盤文件，同時為了進一步提高可靠性，這些記錄還需要利用元數據的日志機制記錄日志(這樣這些記錄也就能達到主從互備，與元數據具有同等可靠性)。

為了充分利用元數據的已有機制，現有的實現方式是每種記錄對應一個目錄inode，其中每條記錄當做inode的一個dentry項進行管理，這樣只需要很少的額外工作便可以加入記錄，當記錄無效時也可以直接利用dentry項刪除接口進行刪除。

然而，這種實現方式存在以下問題：

1)不利于擴展：由于記錄的元數據即文件系統的inode，而inode的預留字段是有限的，當記錄元數據需要增加的屬性超出限制時就會難以加入(為了輔助信息而修改作為文件系統元數據的最重要的結構inode是不太可取的)；

2)浪費空間：由于每個記錄當做一個dentry項進行記錄，所以當然會繼承dentry項的所有屬性，但是并非所有屬性都是本記錄所必須的；

3)也是這種方式最嚴重的缺陷，這種實現方式會影響日志的應用性能，當元數據壓力比較大時會成為系統的瓶頸，影響整體性能：元數據擴展hash追求的目標是dentry項在各個hash桶內盡量均勻，而這些輔助記錄的記錄量是非常大的(因為每個ParaStor文件系統的文件會用到多個磁盤)，當擴展hash比較大時，日志應用會導致磁頭來回掃描，進而大大降低應用效率，當日志壓力堆到一定程度就會暫時拒絕元數據日志提交請求，進而影響整個元數據的性能。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中的問題，本發明提出一種記錄組織方法和記錄組織結構，能夠提高元數據服務器的性能并且能夠進行很好的擴展。

根據本發明的一個方面，提供了一種記錄組織方法，包括：為每種記錄分配一個唯一標識；在對應的磁盤文件中建立與每種記錄相對應的數據文件和元數據文件，其中，每種記錄的數據文件對應于一個磁盤文件；以及使數據文件只進行連續追加寫入操作。

優選地，元數據信息在元數據文件中以唯一標識為索引。

優選地，當數據文件中的一條記錄無效時，在數據文件的末尾插入一條與無效記錄對應的對消記錄。

優選地，當需要使用記錄時，對數據文件進行回收處理，將無效記錄和對消記錄進行對消。

更優選地，利用預先注冊的回收函數進行回收處理。

更優選地，順序掃描數據文件來進行回收處理。

更優選地，回收處理包括：將所有對消記錄加入一個哈希鏈表；順序掃描數據文件，對于每個有效記錄，在哈希鏈表中查找對消記錄；如果找到對應的對消記錄，則從哈希鏈表中摘除該對消記錄；如果沒有找到對應的對消記錄，則將該有效記錄寫入一個新的臨時文件。

優選地，在掃描完所有的有效記錄之后，用新的臨時文件代替數據文件。

優選地，在生成日志時只記錄邏輯日志。

根據本發明的另一方面，提供了一種記錄組織結構，該記錄組織結構包括對應于一種記錄的數據文件和元數據文件，其中，為每一種記錄分配一個唯一標識并且使每種記錄的數據文件對應于一個磁盤文件，并且對數據文件只進行連續追加寫入操作。

本發明通過這種簡單的元數據組織方式，消除了數據文件記錄的索引需求，通過追加寫入對消記錄來實現記錄刪除，將對objfile文件的訪問簡化為追加寫入順序讀取，提高了磁盤讀寫性能，并且用邏輯日志來解決線程并發帶來的日志生成時某些信息不能確定的問題。

附圖說明