[發(fā)明專利]一種基于中間表的數(shù)據(jù)抽取的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111000509.2
• 申請(qǐng)日: 2021-08-29
• 公開（公告）號(hào): CN113688157A
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 王佩
• 申請(qǐng)（專利權(quán)）人: 中盾創(chuàng)新檔案管理（北京）有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/2457;G06F16/215;G06F16/27;G06F16/28
• 代理公司: 北京嘉途睿知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11793
• 代理人: 彭成

1.一種基于中間表的數(shù)據(jù)抽取的系統(tǒng)，其特征在于，該系統(tǒng)包括通過網(wǎng)絡(luò)連接的客戶端，管理服務(wù)器，分布式數(shù)據(jù)庫；

所述客戶端用于獲取用戶對(duì)中間表設(shè)置界面的數(shù)據(jù)抽取條件后向管理服務(wù)器發(fā)送數(shù)據(jù)抽取命令；

所述管理服務(wù)器根據(jù)抽取指令以及中間表配置參數(shù)生成批處理任務(wù)執(zhí)行腳本，根據(jù)批處理任務(wù)執(zhí)行腳本從分布式數(shù)據(jù)庫中獲取數(shù)據(jù)后，將所述獲取數(shù)據(jù)按照預(yù)設(shè)規(guī)則排序后存儲(chǔ)至客戶端并顯示；

其中，所述分布式數(shù)據(jù)庫中的數(shù)據(jù)表中設(shè)置有觸發(fā)器，根據(jù)所述觸發(fā)器獲得數(shù)據(jù)增量日志匯總到日志表中，所述管理服務(wù)器會(huì)給每一條日志加時(shí)間戳。

2.根據(jù)權(quán)利要求1所述基于中間表的數(shù)據(jù)抽取的系統(tǒng)，其特征在于：在中間表設(shè)置界面設(shè)置數(shù)據(jù)抽取條件以及關(guān)聯(lián)的數(shù)據(jù)庫。

3.根據(jù)權(quán)利要求2所述的基于中間表的數(shù)據(jù)抽取的系統(tǒng)，其特征在于：所述數(shù)據(jù)抽取條件包括選擇所需參數(shù)以及設(shè)置所述參數(shù)的權(quán)重值；所述設(shè)置參數(shù)包括：數(shù)據(jù)生成時(shí)間，數(shù)據(jù)訪問熱度，數(shù)據(jù)下載熱度，數(shù)據(jù)庫名，排序方式。

4.根據(jù)權(quán)利要求1所述的基于中間表的數(shù)據(jù)抽取的系統(tǒng)系統(tǒng)，其特征在于：所述根據(jù)批處理任務(wù)執(zhí)行腳本從分布式數(shù)據(jù)庫中獲取數(shù)據(jù)具體可以為：所述管理服務(wù)器周期性地會(huì)通過所述時(shí)間戳獲取分布式數(shù)據(jù)庫的多個(gè)增量數(shù)據(jù)數(shù)據(jù)集合；所述管理服務(wù)器在接受到數(shù)據(jù)抽取指令后，根據(jù)所述批處理任務(wù)執(zhí)行腳本從所述多個(gè)增量數(shù)據(jù)數(shù)據(jù)集合抽取所需數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的基于中間表的數(shù)據(jù)抽取的系統(tǒng)，其特征在于：所述預(yù)設(shè)規(guī)則排序具體為：根據(jù)數(shù)據(jù)質(zhì)量分?jǐn)?shù)、數(shù)據(jù)修改時(shí)間和數(shù)據(jù)大小進(jìn)行排序，所述數(shù)據(jù)質(zhì)量分?jǐn)?shù)計(jì)算公式為：S＝w₁·P+w₂·Q，其中w₁+w₂＝1，P為下載熱度，Q為訪問熱度，w₁和w₂為權(quán)重。

6.根據(jù)權(quán)利要求5所述的基于中間表的數(shù)據(jù)抽取的系統(tǒng)，其特征在于：所述根據(jù)數(shù)據(jù)質(zhì)量分?jǐn)?shù)、數(shù)據(jù)修改時(shí)間和數(shù)據(jù)大小進(jìn)行排序具體為：

客戶端獲取返回的抽取增量數(shù)據(jù)后，根據(jù)數(shù)據(jù)質(zhì)量分?jǐn)?shù)閾值進(jìn)行過濾，將大于所述閾值的增量數(shù)據(jù)按照數(shù)據(jù)大小或時(shí)間排序顯示。

7.一種基于中間表的數(shù)據(jù)抽取的方法，其特征在于：步驟S1，客戶端獲取用戶對(duì)中間表界面的參數(shù)設(shè)置，所述設(shè)置參數(shù)包括：數(shù)據(jù)生成時(shí)間，數(shù)據(jù)訪問熱度，數(shù)據(jù)下載熱度，數(shù)據(jù)庫名，權(quán)重值；

步驟S2，所述客戶端向管理服務(wù)器發(fā)送數(shù)據(jù)抽取指令；

步驟S3，所述管理服務(wù)器根據(jù)所述抽取指令以及所述中間表配置參數(shù)生成批處理任務(wù)執(zhí)行腳本，

步驟S4，所述管理管理服務(wù)器根據(jù)所述批處理任務(wù)執(zhí)行腳本從分布式數(shù)據(jù)庫中獲取數(shù)據(jù)；

步驟S5，所述管理管理服務(wù)器將從所述分布式數(shù)據(jù)庫中獲取的數(shù)據(jù)按照預(yù)設(shè)規(guī)則排序后存儲(chǔ)至所述客戶端并按照預(yù)設(shè)顯示規(guī)則顯示。

8.根據(jù)權(quán)利要求7所述的基于中間表的數(shù)據(jù)抽取的方法，其特征在于：分布式數(shù)據(jù)庫中的數(shù)據(jù)表中設(shè)置有觸發(fā)器，根據(jù)所述觸發(fā)器獲得數(shù)據(jù)增量日志匯總到日志表中，所述管理服務(wù)器會(huì)給每一條日志加時(shí)間戳；所述管理服務(wù)器周期性地會(huì)通過時(shí)間戳獲取分布式數(shù)據(jù)庫的多個(gè)增量數(shù)據(jù)數(shù)據(jù)集合；所述管理服務(wù)器在接受到數(shù)據(jù)抽取指令后，根據(jù)所述批處理任務(wù)執(zhí)行腳本從所述多個(gè)增量數(shù)據(jù)數(shù)據(jù)集合抽取所需數(shù)據(jù)，其中所述增量數(shù)據(jù)數(shù)據(jù)集合的生命周期為7天。

9.根據(jù)權(quán)利要求7所述的基于中間表的數(shù)據(jù)抽取的方法，其特征在于：所述預(yù)設(shè)顯示規(guī)則具體為：根據(jù)數(shù)據(jù)質(zhì)量分?jǐn)?shù)、數(shù)據(jù)修改時(shí)間和數(shù)據(jù)大小進(jìn)行排序，所述數(shù)據(jù)質(zhì)量分?jǐn)?shù)計(jì)算公式為：S＝w₁·P+w₂·Q，其中w₁+w₂＝1，P為下載熱度，Q為訪問熱度，w₁和w₂為權(quán)重。

10.根據(jù)權(quán)利要求7所述的基于中間表的數(shù)據(jù)抽取的方法，其特征在于：批處理任務(wù)經(jīng)管理服務(wù)器分配到分布式存儲(chǔ)系統(tǒng)的各執(zhí)行器節(jié)點(diǎn)，所述執(zhí)行器節(jié)點(diǎn)設(shè)置執(zhí)行隊(duì)列負(fù)責(zé)存儲(chǔ)任務(wù)，每個(gè)任務(wù)占用隊(duì)列上的一個(gè)線程資源；所述執(zhí)行器節(jié)點(diǎn)上的任務(wù)執(zhí)行的優(yōu)先級(jí)按照目標(biāo)函數(shù)進(jìn)行動(dòng)態(tài)調(diào)整，所述目標(biāo)函數(shù)為：

其中，T_i表示管理服務(wù)器映射執(zhí)行器節(jié)點(diǎn)i的時(shí)間，Te_i表示數(shù)據(jù)抽取任務(wù)i執(zhí)行時(shí)間，Tw_i表示數(shù)據(jù)抽取任務(wù)i的等待執(zhí)行時(shí)間，動(dòng)態(tài)調(diào)整使得目標(biāo)函數(shù)取得最小值。