[發明專利]一種基于HDFS的LOB數據處理方法及裝置

有效

• 申請號: 201910178903.1
• 申請日: 2019-03-11
• 公開（公告）號: CN109977074B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 宋萬全;董隆超;周群年
• 申請（專利權）人: 北京東方國信科技股份有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/11;G06F16/182
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍;苗曉靜

本發明實施例提供一種基于HDFS的LOB數據處理方法及裝置，根據終端發送的數據存儲請求獲取多個待存儲LOB數據，將所有待存儲LOB數據依次寫入至少一個數據存儲單元，對于任意一個已存儲LOB數據，獲取已存儲LOB數據在所在數據存儲單元中的存儲位置，作為已存儲LOB數據對應的第一索引信息，將已存儲LOB數據對應的第一索引信息寫入預設索引文件；獲取已存儲LOB數據對應的第一索引信息在預設索引文件中的存儲位置，作為已存儲LOB數據對應的第二索引信息，將已存儲LOB數據對應的第二索引信息返回給終端。該方法及裝置能夠將部分待存儲LOB數據統一寫入一個數據存儲單元，以使得每個數據存儲單元存儲空間的利用率實現最大化，一定程度上有效節省了LOB數據的整體存儲空間。

技術領域

本發明實施例涉及計算機技術領域，更具體地，涉及一種基于HDFS的LOB數據處理方法及裝置。

背景技術

LOB數據是一種用于存儲大對象的數據類型，如醫學記錄(如X-射線)、視頻、圖像等。目前，LOB數據一般采用HDFS分布式文件系統進行存儲，HDFS分布式文件系統中的一個存儲單元為一個block，在采用HDFS分布式文件系統進行LOB數據存儲時，一個block往往只能存儲一個LOB數據。

然而，一個block的大小固定為128MB，一個LOB數據的大小范圍是0-2GB，有些LOB數據的大小往往不足128MB，有些LOB數據的大小甚至不足10MB，這些LOB數據可以稱為小型LOB數據。若需對大量小型LOB數據進行存儲，則需針對每個小型LOB數據分配一個block，而每個小型LOB數據的大小于遠遠小于一個block的大小，從而導致每個block中將存在大量存儲空間被浪費。

有鑒于此，亟需提供一種基于HDFS的LOB數據處理方法及裝置，以解決現有LOB數據存儲方式所存在的大量存儲空間被浪費的問題。

發明內容

本發明實施例為了解決現有LOB數據存儲方式所存在的大量存儲空間被浪費的問題，提供一種基于HDFS的LOB數據處理方法及裝置。

第一方面，本發明實施例提供一種基于HDFS的LOB數據處理方法，包括：

根據終端發送的數據存儲請求獲取多個待存儲LOB數據，將所有待存儲LOB數據依次寫入至少一個數據存儲單元，其中，每個數據存儲單元能夠存儲多個待存儲LOB數據；

對于任意一個已存儲LOB數據，獲取所述已存儲LOB數據在所在數據存儲單元中的存儲位置，作為所述已存儲LOB數據對應的第一索引信息，將所述已存儲LOB數據對應的第一索引信息寫入索引管理文件；

獲取所述已存儲LOB數據對應的第一索引信息在所述索引管理文件中的存儲位置，作為所述已存儲LOB數據對應的第二索引信息，將所述已存儲LOB數據對應的第二索引信息返回給終端。

第二方面，本發明實施例提供一種基于HDFS的LOB數據處理裝置，包括：

數據存儲模塊，用于根據終端發送的數據存儲請求獲取多個待存儲LOB數據，將所有待存儲LOB數據依次寫入至少一個數據存儲單元，其中，每個數據存儲單元能夠存儲多個待存儲LOB數據；

第一索引模塊，用于對于任意一個已存儲LOB數據，獲取所述已存儲LOB數據在所在數據存儲單元中的存儲位置，作為所述已存儲LOB數據對應的第一索引信息，將所述已存儲LOB數據對應的第一索引信息寫入索引管理文件；

第二索引模塊，用于獲取所述已存儲LOB數據對應的第一索引信息在所述索引管理文件中的存儲位置，作為所述已存儲LOB數據對應的第二索引信息，將所述已存儲LOB數據對應的第二索引信息返回給終端。

第三方面，本發明實施例提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如第一方面所提供的方法的步驟。