[發(fā)明專利]ETL任務(wù)的處理方法、裝置、設(shè)備及存儲介質(zhì)有效
| 申請?zhí)枺?/td> | 201910872609.0 | 申請日: | 2019-09-16 |
| 公開(公告)號: | CN110580265B | 公開(公告)日: | 2020-11-20 |
| 發(fā)明(設(shè)計(jì))人: | 朱林林 | 申請(專利權(quán))人: | 北京三快在線科技有限公司 |
| 主分類號: | G06F16/25 | 分類號: | G06F16/25 |
| 代理公司: | 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138 | 代理人: | 謝冬寒 |
| 地址: | 100080 北京市海*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | etl 任務(wù) 處理 方法 裝置 設(shè)備 存儲 介質(zhì) | ||
本申請公開了一種ETL任務(wù)的處理方法、裝置、設(shè)備及存儲介質(zhì)。所述方法包括:獲取ETL任務(wù)的元數(shù)據(jù)信息;根據(jù)元數(shù)據(jù)信息確定ETL任務(wù)的評價參數(shù),該評價參數(shù)用于表征ETL任務(wù)的價值;根據(jù)評價參數(shù)對ETL任務(wù)進(jìn)行處理。本申請實(shí)施例提供的技術(shù)方案中,通過獲取ETL任務(wù)的元數(shù)據(jù)信息,根據(jù)該元數(shù)據(jù)信息確定該ETL任務(wù)的評價參數(shù),然后基于該評價參數(shù)對ETL任務(wù)進(jìn)行處理;從而通過對ETL任務(wù)進(jìn)行量化評估,實(shí)現(xiàn)了對ETL任務(wù)的價值的量化表征,進(jìn)而實(shí)現(xiàn)了對ETL任務(wù)的自動化管理,相比于人工管理的方式,效率更高,且成本更低。
技術(shù)領(lǐng)域
本申請實(shí)施例涉及計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)領(lǐng)域,特別涉及一種ETL任務(wù)的處理方法、裝置、設(shè)備及存儲介質(zhì)。
背景技術(shù)
ETL(Extract-Transform-Load,抽取-轉(zhuǎn)換-加載)任務(wù)是一種用于實(shí)現(xiàn)對數(shù)據(jù)進(jìn)行處理的任務(wù),常用在數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫中。
在相關(guān)技術(shù)中,對于已經(jīng)發(fā)布上線的ETL任務(wù),需要人工對其進(jìn)行核查,以決策是否需要下線該ETL任務(wù)。
發(fā)明內(nèi)容
本申請實(shí)施例提供了一種ETL任務(wù)的處理方法、裝置、設(shè)備及存儲介質(zhì)。所述技術(shù)方案如下:
一方面,本申請實(shí)施例提供一種ETL任務(wù)的處理方法,所述方法包括:
獲取ETL任務(wù)的元數(shù)據(jù)信息;
根據(jù)所述元數(shù)據(jù)信息,確定所述ETL任務(wù)的評價參數(shù);其中,所述評價參數(shù)用于表征所述ETL任務(wù)的價值;
根據(jù)所述評價參數(shù)對所述ETL任務(wù)進(jìn)行處理。
另一方面,本申請實(shí)施例提供一種ETL任務(wù)的處理裝置,所述裝置包括:
信息獲取模塊,用于獲取ETL任務(wù)的元數(shù)據(jù)信息;
參數(shù)確定模塊,用于根據(jù)所述元數(shù)據(jù)信息,確定所述ETL任務(wù)的評價參數(shù);其中,所述評價參數(shù)用于表征所述ETL任務(wù)的價值;
任務(wù)處理模塊,用于根據(jù)所述評價參數(shù)對所述ETL任務(wù)進(jìn)行處理。
再一方面,本申請實(shí)施例提供一種計(jì)算機(jī)設(shè)備,所述計(jì)算機(jī)設(shè)備包括處理器和存儲器,所述存儲器中存儲有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序由所述處理器加載并執(zhí)行以實(shí)現(xiàn)上述ETL任務(wù)的處理方法。
又一方面,本申請實(shí)施例提供一種非臨時性計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述ETL任務(wù)的處理方法。
本申請實(shí)施例提供的技術(shù)方案可以帶來如下有益效果:
通過獲取ETL任務(wù)的元數(shù)據(jù)信息,根據(jù)該元數(shù)據(jù)信息確定該ETL任務(wù)的評價參數(shù),然后基于該評價參數(shù)對ETL任務(wù)進(jìn)行處理;從而通過對ETL任務(wù)進(jìn)行量化評估,實(shí)現(xiàn)了對ETL任務(wù)的價值的量化表征,進(jìn)而實(shí)現(xiàn)了對ETL任務(wù)的自動化管理,相比于人工管理的方式,效率更高,且成本更低。
附圖說明
為了更清楚地說明本申請實(shí)施例中的技術(shù)方案,下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本申請一個實(shí)施例提供的ETL任務(wù)的處理方法的流程圖;
圖2是本申請另一個實(shí)施例提供的ETL任務(wù)的處理方法的流程圖;
圖3是本申請一個實(shí)施例提供的ETL任務(wù)的評價參數(shù)的示意圖;
圖4是本申請一個實(shí)施例提供的ETL任務(wù)的處理裝置的框圖;
圖5是本申請另一個實(shí)施例提供的ETL任務(wù)的處理裝置的框圖;
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京三快在線科技有限公司,未經(jīng)北京三快在線科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201910872609.0/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)抽取、轉(zhuǎn)換和加載的執(zhí)行方法和裝置
- 為ETL任務(wù)分配節(jié)點(diǎn)的方法和調(diào)度系統(tǒng)
- 一種用于調(diào)度ETL任務(wù)的方法與設(shè)備
- 一種基于元數(shù)據(jù)的ETL實(shí)現(xiàn)方法及系統(tǒng)
- 一種監(jiān)控任務(wù)運(yùn)行的方法和設(shè)備
- 一種分布式數(shù)據(jù)ETL處理方法及裝置
- 一種基于多服務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理系統(tǒng)及其方法
- ETL任務(wù)調(diào)度方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)
- 一種基于元數(shù)據(jù)的ETL任務(wù)批量生成方法
- ETL文件拆分方法及裝置
- 任務(wù)協(xié)作裝置及方法
- 用于量化任務(wù)價值的任務(wù)管理方法及裝置
- 用于運(yùn)行任務(wù)的系統(tǒng)、方法和裝置
- 一種分布式任務(wù)調(diào)度系統(tǒng)及方法
- 任務(wù)信息處理方法
- 一種同步任務(wù)異步執(zhí)行的方法和調(diào)度系統(tǒng)
- 數(shù)據(jù)處理方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)
- 一種自動分配和推送的任務(wù)管理平臺及方法
- 程序執(zhí)行控制的裝置及方法、終端和存儲介質(zhì)
- 基于會話的任務(wù)待辦方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)





