[發明專利]支持事務形式的中間件訪問HDFS系統的方法及中間件

在審

• 申請號: 201711137602.1
• 申請日: 2017-11-16
• 公開（公告）號: CN109800212A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 王杰斌;林文輝
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/17;G06F16/13;G06F11/14
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 金旭鵬;肖冰濱

1.一種支持事務形式的中間件訪問HDFS系統的方法，其特征在于，該方法包括：

接收HDFS訪問操作；

判斷該HDFS訪問操作是事務性還是非事務性的；以及

在所述HDFS訪問操作為事務性的情況下，執行以下操作：

初始化中間件對象；

根據所述HDFS訪問操作，調用讀文件、刪文件和/或寫文件接口方法中的一者或多者進行文件操作；

判斷所述文件操作是否成功；及

在所述文件操作成功的情況下，提交所述事務操作至所述HDFS，記錄事務日志，否則，回滾所述事務操作，記錄事務日志。

2.根據權利要求1所述的支持事務形式的中間件訪問HDFS系統的方法，其特征在于，所述寫文件操作包括：

上傳文件至HDFS；

事務日志記錄寫文件操作和文件路徑；以及

返回寫成功標識。

3.根據權利要求1所述的支持事務形式的中間件訪問HDFS系統的方法，其特征在于，判斷所述讀文件操作是否成功包括：

判斷文件是否存在；

在文件存在的情況下，判斷在所述讀文件操作前是否刪除該文件；

在所述文件已被刪除的情況下，回滾所述讀文件事務操作，

否則，讀取HDFS的文件，

在文件不存在的情況下，判斷在所述讀文件操作前是否新增該文件；

在未新增文件的情況下，回滾所述讀文件事務操作，

否則，讀取HDFS的文件，以及

讀取HDFS文件后，判斷文件讀取是否異常；

在所述文件讀取發生異常的情況下，回滾所述讀文件事務操作，

否則，事務日志記錄讀操作，并返回讀成功標識。

4.根據權利要求1所述的支持事務形式的中間件訪問HDFS系統的方法，其特征在于，判斷所述刪文件操作是否成功包括：

判斷文件是否存在；

在文件存在的情況下，判斷在所述刪文件操作前是否有其它刪文件操作已刪除文件；

在所述其它刪文件操作已刪除該文件的情況下，返回刪失敗標識，

否則，刪除該文件，事務日志記錄刪操作，并返回刪成功標識，

在文件不存在的情況下，判斷在所述刪文件操作前是否新增該文件；

在未新增文件的情況下，返回刪失敗標識，

在有新增文件的情況下，刪除該文件，事務日志記錄刪操作，并返回刪成功標識。

5.根據權利要求1所述的支持事務形式的中間件訪問HDFS系統的方法，其特征在于，事務性的HDFS訪問操作包括多個文件操作。

6.一種支持事務形式訪問HDFS系統的中間件，其特征在于，該中間件包括：接口單元、服務單元以及數據訪問單元，其中

所述服務單元判斷所接收的HDFS訪問操作是事務性還是非事務性的；

在所述HDFS訪問操作為事務性的情況下，所述接口單元調用服務單元，執行以下操作：

根據所述HDFS訪問操作，調用讀文件、刪文件和/或寫文件接口方法中的一者或多者進行文件操作；

判斷所述文件操作是否成功；及

在所述文件操作成功的情況下，通過所述數據訪問單元提交所述事務操作至所述HDFS，記錄事務日志，否則，回滾所述事務操作，記錄事務日志。

7.根據權利要求6所述的支持事務形式訪問HDFS系統的中間件，其特征在于，執行所述寫文件操作包括：

所述接口單元調用所述服務單元，并通過所述數據訪問單元上傳文件至HDFS；

服務單元操作事務日志記錄寫文件操作和文件路徑；以及

返回寫成功標識。