[發明專利]一種基于事務的大容量數據讀寫方法

有效

• 申請號: 201210361971.X
• 申請日: 2012-09-25
• 公開（公告）號: CN102929935A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 吳征;武劍鋒;王泊;陳晨;朱立;劉凱;劉經緯;黃寅飛;陸素源;鄭剛;白碩
• 申請（專利權）人: 上海證券交易所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F3/06
• 代理公司: 上海三方專利事務所 31127
• 代理人: 吳干權

1.一種基于事務的大容量數據讀寫方法，其特征在于數據寫方法包括以下步驟：

（1）將批量數據記錄以數據頁面的形式組織起來，數據頁面的大小根據實際應用的需要調整設置；

（2）在內存中開辟數據頁面緩沖，當每次寫入數據記錄時，先將數據記錄寫入內存中的數據頁面緩沖內；

（3）觸發數據頁面的提交，觸發條件為下列條件之一即可：

（a）數據頁面緩沖被填滿；

（b）數據頁面緩沖未被填滿，但數據頁面提交的最大超時時間被觸發，所述的最大超時時間根據實際應用的需要調整設置，用于避免當數據頁面緩沖因一直未能填滿而無法提交，產生過長的延時；

（4）提交數據頁面，包括以下步驟：

（a）以數據頁面為單位，使用IO接口將數據頁面寫入數據文件；

（b）當數據頁面的寫入操作成功后，生成一個索引，用于記錄數據頁面在數據文件中的首地址，所述的索引占用空間小；

（c）通過基于事務的文件IO接口，將生成的索引寫入索引文件，完成數據頁面的提交；

（5）反饋數據頁面的提交結果：

（a）當基于事務的索引寫入索引文件過程執行成功后，數據頁面即提交成功；

（b）當基于事務的索引寫入索引文件過程執行失敗后，數據頁面即提交失敗，此時無需刪除數據文件中索引對應的數據頁面，因為對數據文件的讀取訪問是基于索引文件，當索引文件中索引不存在時，數據文件中對應的數據頁面為不可見狀態；

（6）當需要對完成提交的數據頁面進行回滾時，則只需要對索引文件中數據頁面對應的索引執行回滾操作，無需刪除數據文件中的數據頁面，因為對數據文件的讀取訪問是基于索引文件，對索引文件執行回滾操作后，數據文件中對應的數據頁面變更為不可見狀態；

（7）在共享內存中創建索引數組，用于開放給其他用戶訪問，當數據頁面提交成功后，向共享內存中的索引數組添加數據頁面對應的索引項，所述的索引項包括：數據頁面在數據文件中的位移，數據頁面中數據記錄的起始序號和結束序號。

（8）刷新數據頁面緩沖區；

（9）重置刷新定時器，至此數據寫入操作完成。

2.如權利要求1所述的一種基于事務的大容量數據讀寫方法，其特征在于在數據頁面的整個提交過程中，只有索引的寫入操作是基于事務的，為滿足事務性的要求，所有對數據記錄的訪問必須先通過索引找到對應的數據頁面，禁止跳過索引直接訪問數據文件，該方法即數據讀方法包括以下步驟：

（1）利用二分法查找共享內存中的索引數組，定位指定序號的數據記錄所在的數據頁面索引，所述的索引數組中的索引項順序是按照索引提交順序進行排列的，當利用二分法查找索引數組時，首先判斷指定序號是否位于數據頁面起始序號與結束序號之間，繼而定位到指定序號的數據記錄所在的數據頁面索引，查找定位結果包括以下兩種：

（a）定位數據頁面索引成功，說明指定序號的數據記錄所在的數據頁面已經被提交，可以繼續下一步操作；

（b）定位數據頁面失敗，說明指定序號的數據記錄所在的數據頁面尚未被提交，讀取被拒絕；

（2）獲得數據頁面在數據文件中的位移（pageOffset），所述的位移值從數據頁面索引項中直接獲得；

（3）獲得數據記錄在數據頁面中的位移（recOffsetInPage）：

（a）如果數據記錄定長，且序號連續遞增，則數據記錄的在數據頁面中的位移可以通過以下公式得到：

recOffsetInPage?=?pageHeadSize?+?(recSeq?–?beginSeqInPage)?*?recLen，其中：pageHeadSize指頁面頭長度，recOffsetInPage指數據記錄在數據頁面中的位移，recSeq指數據記錄的序號，beginSeqInPage指數據頁面中數據記錄的起始序號，recLen指數據記錄長度；

（b）如果數據記錄不定長或者不保證序號連續遞增，則通過遍歷數據頁面的方式定位指定序號的數據記錄的起始位置；

（4）通過數據頁面的位移和數據記錄在數據頁面中的位移，計算得到數據記錄在數據文件中的位移，計算公式如下：

recOffset?=?pageOffset?+?recOffsetInPage，

其中：recOffset指數據記錄在數據文件中的位移，pageOffset指數據記錄所在數據頁面在數據文件中的位移，recOffsetInPage指數據記錄在數據頁面中的位移；

（5）根據數據記錄在數據文件中的位移，通過文件IO接口從數據文件中讀取指定序號的數據記錄。