[發(fā)明專利]一種基于HDFS的LOB數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201910178903.1
• 申請日: 2019-03-11
• 公開（公告）號: CN109977074B
• 公開（公告）日: 2021-04-27
• 發(fā)明（設計）人: 宋萬全;董隆超;周群年
• 申請（專利權）人: 北京東方國信科技股份有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/11;G06F16/182
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 王慶龍;苗曉靜

1.一種基于HDFS的LOB數(shù)據(jù)處理方法，其特征在于，包括：

根據(jù)終端發(fā)送的數(shù)據(jù)存儲請求獲取多個待存儲LOB數(shù)據(jù)，將所有待存儲LOB數(shù)據(jù)依次寫入至少一個數(shù)據(jù)存儲單元，其中，每個數(shù)據(jù)存儲單元能夠存儲多個待存儲LOB數(shù)據(jù)；

對于任意一個已存儲LOB數(shù)據(jù)，獲取所述已存儲LOB數(shù)據(jù)在所在數(shù)據(jù)存儲單元中的存儲位置，作為所述已存儲LOB數(shù)據(jù)對應的第一索引信息，將所述已存儲LOB數(shù)據(jù)對應的第一索引信息寫入索引管理文件；

獲取所述已存儲LOB數(shù)據(jù)對應的第一索引信息在所述索引管理文件中的存儲位置，作為所述已存儲LOB數(shù)據(jù)對應的第二索引信息，將所述已存儲LOB數(shù)據(jù)對應的第二索引信息返回給終端；

還包括：

根據(jù)終端發(fā)送的數(shù)據(jù)刪除請求獲取待刪除LOB數(shù)據(jù)對應的第二索引信息；

將待刪除LOB數(shù)據(jù)對應的第二索引信息寫入刪除管理文件；

當所述刪除管理文件中的所有待刪除LOB數(shù)據(jù)的總數(shù)量滿足預設條件時，將刪除管理文件中的所有待刪除LOB數(shù)據(jù)進行統(tǒng)一刪除。

2.根據(jù)權利要求1所述的方法，其特征在于，將所有待存儲LOB數(shù)據(jù)依次寫入至少一個數(shù)據(jù)存儲單元，具體為：

獲取當前待存儲LOB數(shù)據(jù)，若當前數(shù)據(jù)存儲單元的剩余存儲容量大小小于當前待存儲LOB數(shù)據(jù)的大小，則新增一個數(shù)據(jù)存儲單元，作為下一個數(shù)據(jù)存儲單元；

將剩余待存儲LOB數(shù)據(jù)依次寫入下一個數(shù)據(jù)存儲單元，直至所有待存儲LOB數(shù)據(jù)存儲完成。

3.根據(jù)權利要求1所述的方法，其特征在于，還包括：

根據(jù)終端發(fā)送的數(shù)據(jù)讀取請求獲取待讀取LOB數(shù)據(jù)對應的第二索引信息；

根據(jù)所述待讀取LOB數(shù)據(jù)對應的第二索引信息從所述索引管理文件中獲取所述待讀取LOB數(shù)據(jù)對應的第一索引信息；

根據(jù)所述待讀取LOB數(shù)據(jù)對應的第一索引信息讀取所述待讀取LOB數(shù)據(jù)。

4.根據(jù)權利要求1所述的方法，其特征在于，還包括：

根據(jù)終端發(fā)送的數(shù)據(jù)修改請求獲取待修改LOB數(shù)據(jù)對應的第二索引信息和所述待修改LOB數(shù)據(jù)對應的替換LOB數(shù)據(jù)；

將所述待修改LOB數(shù)據(jù)對應的第二索引信息寫入刪除管理文件；

若當前數(shù)據(jù)存儲單元的剩余存儲容量大小不小于所述替換LOB數(shù)據(jù)的大小，則將所述替換LOB數(shù)據(jù)寫入當前數(shù)據(jù)存儲單元；

獲取所述替換LOB數(shù)據(jù)在當前數(shù)據(jù)存儲單元中的存儲位置，作為所述替換LOB數(shù)據(jù)對應的第一索引信息，將所述替換LOB數(shù)據(jù)對應的第一索引信息寫入所述索引管理文件；

獲取所述替換LOB數(shù)據(jù)對應的第一索引信息在所述索引管理文件中的存儲位置，作為所述替換LOB數(shù)據(jù)對應的第二索引信息，將所述替換LOB數(shù)據(jù)對應的第二索引信息返回給終端。

5.根據(jù)權利要求1所述的方法，其特征在于，當所述刪除管理文件中的所有待刪除LOB數(shù)據(jù)的總數(shù)量滿足預設條件時，將刪除管理文件中的所有待刪除LOB數(shù)據(jù)進行統(tǒng)一刪除，具體為：

獲取所有數(shù)據(jù)存儲單元中所有已存儲LOB數(shù)據(jù)的總數(shù)量，作為第一數(shù)量；

獲取所述刪除管理文件中所有待刪除LOB數(shù)據(jù)的總數(shù)量，作為第二數(shù)量；

若所述第二數(shù)量和所述第一數(shù)量的比值大于預設閾值，則從所有數(shù)據(jù)存儲單元中獲取除待刪除LOB數(shù)據(jù)之外的所有LOB數(shù)據(jù)，作為有效LOB數(shù)據(jù)；

將所述有效LOB數(shù)據(jù)重新存儲至新的數(shù)據(jù)存儲單元，刪除原有的數(shù)據(jù)存儲單元并清空所述刪除管理文件。

6.根據(jù)權利要求1所述的方法，其特征在于，還包括：

根據(jù)預設周期內(nèi)所接收到的終端發(fā)送的歷史請求，獲取每個已存儲LOB數(shù)據(jù)的操作次數(shù)；

獲取操作次數(shù)大于預設次數(shù)的所有已存儲LOB數(shù)據(jù)，作為熱點LOB數(shù)據(jù)；

將所述熱點LOB數(shù)據(jù)重新存儲至新的數(shù)據(jù)存儲單元。