[發明專利]基于Hive數據倉庫的元數據讀取方法及裝置在審
| 申請號: | 201811592142.6 | 申請日: | 2018-12-25 |
| 公開(公告)號: | CN109885620A | 公開(公告)日: | 2019-06-14 |
| 發明(設計)人: | 賴新明;林文輝;王杰斌;楊碩;鄧應強 | 申請(專利權)人: | 航天信息股份有限公司 |
| 主分類號: | G06F16/28 | 分類號: | G06F16/28;G06F16/2455 |
| 代理公司: | 北京工信聯合知識產權代理有限公司 11266 | 代理人: | 胡秋立 |
| 地址: | 100195 *** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 元數據 關鍵字段 讀取 緩存 安全管控系統 數據倉庫 存儲 讀取方式 發送 攜帶 讀取請求 響應 | ||
1.一種基于Hive數據倉庫的元數據讀取方法,其特征在于,所述方法包括:
接收安全管控系統發送的攜帶關鍵字段的讀取請求;
確定本地緩存中是否存儲所述關鍵字段對應的元數據;
若確定所述本地緩存中存儲所述關鍵字段對應的元數據,則向所述安全管控系統發送攜帶所述關鍵字段對應的元數據的讀取響應;若確定所述本地緩存中未存儲所述關鍵字段對應的元數據,則以當前生效的第一讀取方式從所述Hive數據倉庫讀取所述關鍵字段對應的元數據,向所述安全管控系統發送攜帶所述關鍵字段對應的元數據的讀取響應。
2.如權利要求1所述的方法,其特征在于,確定本地緩存中是否存儲所述關鍵字段對應的元數據,具體包括:
在所述本地緩存中查找所述關鍵字段;
若在所述本地緩存中查找到所述關鍵字段,則確定所述本地緩存中存儲所述關鍵字段對應的元數據;
若在所述本地緩存中未查找到所述關鍵字段,則確定所述本地緩存中未存儲所述關鍵字段對應的元數據。
3.如權利要求1所述的方法,其特征在于,以當前生效的第一讀取方式從所述Hive數據倉庫讀取所述關鍵字段對應的元數據,具體包括:
獲取讀取方式配置文件;
從所述配置文件中確定攜帶生效標記的第一讀取方式;
使用所述第一讀取方式將所述關鍵字段發送給所述Hive數據倉庫;
并接收所述Hive數據倉庫返回的所述關鍵字段對應的元數據。
4.如權利要求3所述的方法,其特征在于,還包括:
接收攜帶第二讀取方式的讀取方式更改指令;
刪除所述第一讀取方式的生效標記;以及,
在所述第二讀取方式添加所述生效標記。
5.如權利要求1-4任一所述的方法,其特征在于,以當前生效的第一讀取方式從所述Hive數據倉庫讀取所述關鍵字段對應的元數據之后,還包括:
將所述關鍵字段對應的元數據存儲到所述本地緩存中。
6.一種基于Hive數據倉庫的元數據讀取裝置,其特征在于,所述裝置包括:
接收模塊,用于接收安全管控系統發送的攜帶關鍵字段的讀取請求;
確定模塊,用于確定本地緩存中是否存儲所述關鍵字段對應的元數據;
讀取模塊,用于若確定所述本地緩存中存儲所述關鍵字段對應的元數據,則向所述安全管控系統發送攜帶所述關鍵字段對應的元數據的讀取響應;若確定所述本地緩存中未存儲所述關鍵字段對應的元數據,則以當前生效的第一讀取方式從所述Hive數據倉庫讀取所述關鍵字段對應的元數據,向所述安全管控系統發送攜帶所述關鍵字段對應的元數據的讀取響應。
7.如權利要求6所述的裝置,其特征在于,所述確定模塊,具體用于:
在所述本地緩存中查找所述關鍵字段;
若在所述本地緩存中查找到所述關鍵字段,則確定所述本地緩存中存儲所述關鍵字段對應的元數據;
若在所述本地緩存中未查找到所述關鍵字段,則確定所述本地緩存中未存儲所述關鍵字段對應的元數據。
8.如權利要求6所述的裝置,其特征在于,所述讀取模塊,用于以當前生效的第一讀取方式從所述Hive數據倉庫讀取所述關鍵字段對應的元數據,具體用于:
獲取讀取方式配置文件;
從所述配置文件中確定攜帶生效標記的第一讀取方式;
使用所述第一讀取方式將所述關鍵字段發送給所述Hive數據倉庫;
并接收所述Hive數據倉庫返回的所述關鍵字段對應的元數據。
9.如權利要求8所述的裝置,其特征在于,還包括添加模塊和刪除模塊,其中:
所述接收模塊,還用于接收攜帶第二讀取方式的讀取方式更改指令;
所述刪除模塊,用于刪除所述第一讀取方式的生效標記;以及,
所述添加模塊,用于在所述第二讀取方式添加所述生效標記。
10.如權利要求6-9任一所述的裝置,其特征在于,還包括存儲模塊,用于:
在所述讀取模塊以當前生效的第一讀取方式從所述Hive數據倉庫讀取所述關鍵字段對應的元數據之后,將所述關鍵字段對應的元數據存儲到所述本地緩存中。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于航天信息股份有限公司,未經航天信息股份有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201811592142.6/1.html,轉載請聲明來源鉆瓜專利網。





