[發明專利]一種大數據分區存儲方法及裝置

在審

• 申請號: 202011569127.7
• 申請日: 2020-12-26
• 公開（公告）號: CN112597248A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 許吉來;孔亮;羅曉峰;丁楊
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉菲

1.一種大數據分區存儲方法，其特征在于，所述方法包括：

獲取待存入數據的占用存儲空間，根據所述占用存儲空間以及目標數據表每個分區的數據存儲容量，對所述目標數據表的待存入數據進行分區，并得到每個分區的分區標識值，所述分區為分配多個存儲區域進行數據的存儲；

將所述待存入數據中各條數據的首字符與所述每個分區的分區標識值之間建立映射關系；

根據所述各條數據的首字符，利用所述映射關系，確定所述待存入數據中各條數據所對應的分區標識值；

根據所述映射關系，將所述每個分區的分區標識值添加到所述待存入數據中各條數據前；

根據所述待存入數據中各條數據前添加的分區標識值，將所述各條數據存入對應分區中。

2.根據權利要求1所述的方法，其特征在于，所述分區標識值包括起始標識值和結束標識值；

所述將所述待存入數據中各條數據的首字符與所述每個分區的分區標識值之間建立映射關系包括：

將所述待存入數據中各條數據的首字符與所述每個分區的起始標識值之間建立映射關系。

3.根據權利要求1所述的方法，其特征在于，在獲取待存入數據的占用存儲空間時，還獲取所述目標數據表的名稱；

所述根據所述待存入數據中各條數據前添加的分區標識值，將所述各條數據存入對應分區中包括：

根據目標數據表的名稱，確定數據待存入的目標數據表；

根據所述待存入數據中各條數據前添加的分區標識值，確定所述待存入數據的分區；

將所述添加分區標識值的各條數據根據字段名稱、字段值和唯一標識存入所述目標數據表的對應分區的相應位置。

4.根據權利要求1所述的方法，其特征在于，所述將所述待存入數據中各條數據的首字符與所述每個分區的分區標識值之間建立映射關系包括：

根據所述待存入數據中各條數據的首字符在所述目標數據表中出現的頻度，確定所述待存入數據中各條數據的首字符對應的分區標識值，保證所述待存入數據的占用存儲空間在所述每個分區均勻分布。

5.根據權利要求1所述的方法，其特征在于，所述映射關系存儲在第一數據庫的數據字典表中，所述數據字典表的名稱為目標數據表的名稱；

所述根據所述各條數據的首字符，利用所述映射關系，確定所述待存入數據中各條數據所對應的分區標識值包括：

根據所述目標數據表的名稱，得到所述第一數據庫的數據字典表的名稱，確定所述第一數據庫的數據字典表；

在所述數據字典表中，根據所述各條數據的首字符查詢對應的所述分區標識值。

6.一種大數據分區查詢方法，其特征在于，所述方法包括：

獲取用戶輸入的目標數據表的名稱和查詢數據；

根據所述目標數據表的名稱，得到第一數據庫的數據字典表的名稱，確定所述第一數據庫的數據字典表，所述數據字典表存儲有所述查詢數據和所述目標數據表每個分區的分區標識值的映射關系；

在所述第一數據庫的數據字典表中查找所述查詢數據的首字符對應的分區標識值；

將所述分區標識值添加到所述查詢數據前；

根據所述查詢數據前添加的分區標識值，在對應的分區中查詢對應的數據。

7.一種大數據分區存儲裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取待存入數據的占用存儲空間，根據所述占用存儲空間以及目標數據表每個分區的數據存儲容量，對所述目標數據表的待存入數據進行分區，并得到每個分區的分區標識值，所述分區為分配多個存儲區域進行數據的存儲；

建立映射關系單元，用于將所述待存入數據中各條數據的首字符與所述每個分區的分區標識值之間建立映射關系；

確定單元，用于根據所述各條數據的首字符，利用所述映射關系，確定所述待存入數據中各條數據所對應的分區標識值；

添加單元，用于根據所述映射關系，將所述每個分區的分區標識值添加到所述待存入數據中各條數據前；

存儲單元，用于根據所述待存入數據中各條數據前添加的分區標識值，將所述各條數據存入對應分區中。