[發(fā)明專利]基于大數(shù)據(jù)的數(shù)據(jù)入庫方法、裝置、存儲介質(zhì)和處理器

有效

• 申請?zhí)枺?/td>: 201911399211.6
• 申請日: 2019-12-30
• 公開（公告）號: CN111159192B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設計）人: 張炎紅;贠瑞峰;劉彬彬;彭翔;劉粉香;賀喆
• 申請（專利權(quán)）人: 北京因特睿軟件有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 霍文娟

1.一種基于大數(shù)據(jù)的數(shù)據(jù)入庫方法，其特征在于，包括：

采用分布式列存儲數(shù)據(jù)庫與分布式檢索引擎建立基礎存儲數(shù)據(jù)庫，所述分布式列存儲數(shù)據(jù)庫用于存儲原始數(shù)據(jù)，所述分布式檢索引擎用于存儲原始數(shù)據(jù)的索引信息；

根據(jù)所述基礎存儲數(shù)據(jù)庫中的數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲格式，構(gòu)建數(shù)據(jù)表；

使用配置庫的方式動態(tài)管理所述數(shù)據(jù)表；

基于所述數(shù)據(jù)表進行數(shù)據(jù)入庫；

根據(jù)所述基礎存儲數(shù)據(jù)庫中的數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲方式，構(gòu)建數(shù)據(jù)表，包括：

將所述基礎存儲數(shù)據(jù)庫中的數(shù)據(jù)存儲格式調(diào)整為預定數(shù)據(jù)存儲格式；

根據(jù)所述預定數(shù)據(jù)存儲格式將所述基礎存儲數(shù)據(jù)庫中的所述數(shù)據(jù)存儲結(jié)構(gòu)調(diào)整為預定數(shù)據(jù)存儲結(jié)構(gòu)；

根據(jù)所述預定數(shù)據(jù)存儲結(jié)構(gòu)和所述預定數(shù)據(jù)存儲格式，構(gòu)建所述數(shù)據(jù)表；

根據(jù)所述預定數(shù)據(jù)存儲格式將所述基礎存儲數(shù)據(jù)庫中的所述數(shù)據(jù)存儲結(jié)構(gòu)調(diào)整為預定數(shù)據(jù)存儲結(jié)構(gòu)之前，根據(jù)所述基礎存儲數(shù)據(jù)庫中的數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲方式，構(gòu)建數(shù)據(jù)表，還包括：

自動識別所述基礎存儲數(shù)據(jù)庫中的所述預定數(shù)據(jù)存儲格式。

2.根據(jù)權(quán)利要求1所述的入庫方法，其特征在于，使用配置庫的方式動態(tài)管理所述數(shù)據(jù)表，包括：

采用所述配置庫的xml的插件化功能，動態(tài)管理所述數(shù)據(jù)表。

3.根據(jù)權(quán)利要求1所述的入庫方法，其特征在于，所述索引信息為所述原始數(shù)據(jù)的主鍵，所述主鍵是所述原始數(shù)據(jù)的唯一標識，所述主鍵由所述原始數(shù)據(jù)的生成日期、所述原始數(shù)據(jù)的編碼值和所述原始數(shù)據(jù)的哈希值組成。

4.根據(jù)權(quán)利要求1所述的入庫方法，其特征在于，所述預定數(shù)據(jù)存儲格式包括至少以下之一：

時間格式、年齡格式、姓名格式。

5.根據(jù)權(quán)利要求1至4中任一項所述的入庫方法，其特征在于，所述數(shù)據(jù)存儲結(jié)構(gòu)包括至少以下之一：第一數(shù)據(jù)存儲結(jié)構(gòu)和第二數(shù)據(jù)存儲結(jié)構(gòu)，其中，所述第一數(shù)據(jù)存儲結(jié)構(gòu)為人的信息所對應的所述數(shù)據(jù)存儲結(jié)構(gòu)，所述第一數(shù)據(jù)存儲結(jié)構(gòu)由姓名信息、年齡信息以及籍貫信息組成，所述第二數(shù)據(jù)存儲結(jié)構(gòu)為公司的信息所對應的所述數(shù)據(jù)存儲結(jié)構(gòu)，所述第二數(shù)據(jù)存儲結(jié)構(gòu)由法人信息、公司位置信息以及公司年收入信息組成。

6.一種基于大數(shù)據(jù)的數(shù)據(jù)入庫裝置，其特征在于，包括：

建立單元，用于采用分布式列存儲數(shù)據(jù)庫與分布式檢索引擎建立基礎存儲數(shù)據(jù)庫，所述分布式列存儲數(shù)據(jù)庫用于存儲原始數(shù)據(jù)，所述分布式檢索引擎用于存儲原始數(shù)據(jù)的索引信息；

優(yōu)化單元，用于根據(jù)所述基礎存儲數(shù)據(jù)庫中的數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲格式，構(gòu)建數(shù)據(jù)表；

管理單元，用于使用配置庫的方式動態(tài)管理所述數(shù)據(jù)表；

入庫單元，用于基于所述數(shù)據(jù)表進行數(shù)據(jù)入庫；

所述優(yōu)化單元包括第一調(diào)整模塊、第二調(diào)整模塊和構(gòu)建模塊，其中，所述第一調(diào)整模塊用于將所述基礎存儲數(shù)據(jù)庫中的數(shù)據(jù)存儲格式調(diào)整為預定數(shù)據(jù)存儲格式；所述第二調(diào)整模塊用于根據(jù)所述預定數(shù)據(jù)存儲格式將所述基礎存儲數(shù)據(jù)庫中的所述數(shù)據(jù)存儲結(jié)構(gòu)調(diào)整為預定數(shù)據(jù)存儲結(jié)構(gòu)；所述構(gòu)建模塊用于根據(jù)所述預定數(shù)據(jù)存儲結(jié)構(gòu)和所述預定數(shù)據(jù)存儲格式，構(gòu)建所述數(shù)據(jù)表；

所述優(yōu)化單元還包括識別模塊，所述識別模塊用于根據(jù)預定數(shù)據(jù)存儲格式將所述基礎存儲數(shù)據(jù)庫中的所述數(shù)據(jù)存儲結(jié)構(gòu)調(diào)整為預定數(shù)據(jù)存儲結(jié)構(gòu)之前，自動識別所述基礎存儲數(shù)據(jù)庫中的所述預定數(shù)據(jù)存儲格式。

7.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)包括存儲的程序，其中，所述程序執(zhí)行權(quán)利要求1至5中任意一項所述的入庫方法。

8.一種處理器，其特征在于，所述處理器用于運行程序，其中，所述程序運行時執(zhí)行權(quán)利要求1至5中任意一項所述的入庫方法。