[發明專利]基于Hive數據倉庫的測試數據生成方法及裝置在審
| 申請號： | 202010833866.6 | 申請日： | 2020-08-18 |
| 公開（公告）號： | CN111966760A | 公開（公告）日： | 2020-11-20 |
| 發明（設計）人： | 張亞澤 | 申請（專利權）人： | 中國銀行股份有限公司 |
| 主分類號： | G06F16/28 | 分類號： | G06F16/28;G06F16/22;G06F11/36 |
| 代理公司： | 北京三友知識產權代理有限公司 11127 | 代理人： | 谷敬麗;薛平 |
| 地址： | 100818 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 hive 數據倉庫 測試數據 生成 方法 裝置 | ||
1.一種基于Hive數據倉庫的測試數據生成方法，其特征在于，包括：
將測試數據的配置信息，配置到在關系型數據庫中，其中，所述配置信息中至少包含：用于存儲所述測試數據的Hive表的文件存儲格式；
根據所述配置信息，生成相應文件存儲格式的Hive表；
執行Spark任務，生成測試數據，并將生成的測試數據導入生成的Hive表中。
2.如權利要求1所述的方法，其特征在于，所述配置信息中還包含：測試數據的數據量和表結構信息，其中，所述表結構信息包含：表名稱、字段名稱、字段數據類型、字段數據長度和關聯字段信息。
3.如權利要求2所述的方法，其特征在于，所述Hive表的文件存儲格式包括如下任意一種：TextFile存儲格式、ORCFile存儲格式和RCFile存儲格式。
4.如權利要求3所述的方法，其特征在于，執行Spark任務，生成測試數據，并將生成的測試數據導入生成的Hive表中，包括：
從所述關系型數據庫中，讀取測試數據的配置信息；
根據測試數據的配置信息，生成測試數據；
當配置信息中包含的文件存儲格式為TextFile存儲格式的情況下，將生成的測試數據加載到TextFile存儲格式的Hive表中；
當配置信息中包含的文件存儲格式為ORCFile存儲格式或RCFile存儲格式的情況下，將生成的測試數據先加載到TextFile存儲格式的Hive表中，再導入到ORCFile存儲格式或RCFile存儲格式的Hive表中。
5.一種基于Hive數據倉庫的測試數據生成裝置，其特征在于，包括：
數據庫配置模塊，用于將測試數據的配置信息，配置到在關系型數據庫中，其中，所述配置信息中至少包含：用于存儲所述測試數據的Hive表的文件存儲格式；
Hive表生成模塊，用于根據所述配置信息，生成相應文件存儲格式的Hive表；
Hive表數據生成模塊，用于執行Spark任務，生成測試數據，并將生成的測試數據導入生成的Hive表中。
6.如權利要求5所述的裝置，其特征在于，所述配置信息中還包含：測試數據的數據量和表結構信息，其中，所述表結構信息包含：表名稱、字段名稱、字段數據類型、字段數據長度和關聯字段信息。
7.如權利要求6所述的裝置，其特征在于，所述Hive表的文件存儲格式包括如下任意一種：TextFile存儲格式、ORCFile存儲格式和RCFile存儲格式。
8.如權利要求7所述的裝置，其特征在于，所述Hive表數據生成模塊包括：
測試數據生成模塊，用于根據測試數據的數據量和表結構信息，生成測試數據；
第一Hive表數據加載模塊，用于當Hive表的文件存儲格式為TextFile存儲格式的情況下，將生成的測試數據加載到TextFile存儲格式的Hive表中；
第二Hive表數據加載模塊，用于當Hive表的文件存儲格式為ORCFile存儲格式或RCFile存儲格式的情況下，將生成的測試數據先加載到TextFile存儲格式的Hive表中，再導入到ORCFile存儲格式或RCFile存儲格式的Hive表中。
9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至4任一項所述基于Hive數據倉庫的測試數據生成方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有執行權利要求1至4任一項所述基于Hive數據倉庫的測試數據生成方法的計算機程序。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國銀行股份有限公司，未經中國銀行股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010833866.6/1.html，轉載請聲明來源鉆瓜專利網。
