[發(fā)明專(zhuān)利]一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010541730.8
• 申請(qǐng)日: 2020-06-15
• 公開(kāi)（公告）號(hào): CN111694720A
• 公開(kāi)（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 方亞?wèn)|;吳呈良;王洪添;徐宏偉;宋設(shè);姚民偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山東浪潮云服務(wù)信息科技有限公司
• 主分類(lèi)號(hào): G06F11/34
• 分類(lèi)號(hào): G06F11/34;G06F11/30;G06F11/32
• 代理公司: 濟(jì)南信達(dá)專(zhuān)利事務(wù)所有限公司 37100
• 代理人: 馮春連

1.一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于,該方法的實(shí)現(xiàn)過(guò)程包括：

步驟1、在分析庫(kù)創(chuàng)建監(jiān)控表，采集模塊每完成一次采集工作都會(huì)生成一條采集數(shù)據(jù)并自動(dòng)寫(xiě)入監(jiān)控表；

步驟2、基于監(jiān)控表的采集數(shù)據(jù)，在分析庫(kù)創(chuàng)建配置表；

步驟3、在配置表中，針對(duì)監(jiān)控表的每一條采集數(shù)據(jù)，配置待監(jiān)控采集數(shù)據(jù)的日期差上限Δ，其中日期差上限Δ根據(jù)作業(yè)系統(tǒng)或作業(yè)表設(shè)定不同的工作模式；

步驟4、啟動(dòng)監(jiān)控模塊，監(jiān)控模塊自動(dòng)獲取監(jiān)控表和配置表的數(shù)據(jù)，通過(guò)計(jì)算每條采集數(shù)據(jù)的時(shí)長(zhǎng)，與對(duì)應(yīng)的日期差上限Δ進(jìn)行比較，得到采集進(jìn)度的反饋結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于，所述監(jiān)控表的每條采集數(shù)據(jù)分別包括字段名、數(shù)據(jù)類(lèi)型和注釋三部分，其中，所述字段名包括table_name、prod_date、fin_date，所述數(shù)據(jù)類(lèi)型包括字符串型和日期型，所述注釋用于根據(jù)字段名和數(shù)據(jù)類(lèi)型進(jìn)行解釋?zhuān)幻織l采集數(shù)據(jù)的時(shí)長(zhǎng)就等于fin_date和prod_date所對(duì)應(yīng)日期的差值。

3.根據(jù)權(quán)利要求2所述的一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于，所述配置表的每條采集數(shù)據(jù)分別包括字段名、數(shù)據(jù)類(lèi)型和注釋三部分，其中，所述字段名包括table_name、delta，所述數(shù)據(jù)類(lèi)型包括字符串型和數(shù)值型，所述注釋用于根據(jù)字段名和數(shù)據(jù)類(lèi)型進(jìn)行解釋。

4.根據(jù)權(quán)利要求2所述的一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于，所述日期差上限Δ根據(jù)作業(yè)系統(tǒng)或作業(yè)表設(shè)定T+0模式，

T+0模式下，作業(yè)庫(kù)當(dāng)天產(chǎn)生的數(shù)據(jù)必須當(dāng)天采集進(jìn)入到分析庫(kù)，此時(shí)Δ設(shè)置為0，

T+0模式下，采集數(shù)據(jù)的時(shí)長(zhǎng)與其對(duì)應(yīng)的日期差上限Δ進(jìn)行比較時(shí)，若fin_date和prod_date所對(duì)應(yīng)日期的差值等于0，則表示采集正常，反饋正常信息，若fin_date和prod_date所對(duì)應(yīng)日期的差值大于0，則表示采集異常，出現(xiàn)延遲，發(fā)出數(shù)據(jù)采集延遲報(bào)警并反饋具體的延遲時(shí)間。

5.根據(jù)權(quán)利要求4所述的一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于，針對(duì)數(shù)據(jù)需求緊急且重要的情況，將日期差上限Δ設(shè)定為T(mén)+0模式。

6.根據(jù)權(quán)利要求2所述的一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于，所述日期差上限Δ根據(jù)作業(yè)系統(tǒng)或作業(yè)表設(shè)定T+δ模式，其中，0δ∞，

T+δ模式下，作業(yè)庫(kù)當(dāng)天產(chǎn)生的數(shù)據(jù)無(wú)需當(dāng)天采集進(jìn)入分析庫(kù)，只需要在規(guī)定時(shí)間δ天內(nèi)完成即可，此時(shí)Δ設(shè)置為δ；

T+δ模式下，采集數(shù)據(jù)的時(shí)長(zhǎng)與其對(duì)應(yīng)的日期差上限Δ進(jìn)行比較時(shí)，若fin_date和prod_date所對(duì)應(yīng)日期的差值小于等于δ，則表示采集正常，反饋正常信息，若fin_date和prod_date所對(duì)應(yīng)日期的差值大于δ，則表示采集異常，出現(xiàn)延遲，發(fā)出數(shù)據(jù)采集延遲報(bào)警并反饋具體的延遲時(shí)間。

7.根據(jù)權(quán)利要求6所述的一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于，針對(duì)時(shí)間要求不緊或是資源緊張時(shí)優(yōu)先級(jí)較低的情況，將日期差上限Δ設(shè)定為T(mén)+δ模式，且δ越大，則優(yōu)先級(jí)越低，重要程度也越低。

8.根據(jù)權(quán)利要求2所述的一種自動(dòng)監(jiān)控?cái)?shù)據(jù)采集進(jìn)度的方法，其特征在于，所述日期差上限Δ根據(jù)作業(yè)系統(tǒng)或作業(yè)表設(shè)定T+(-1)模式，

T+(-1)模式即不監(jiān)控模式，表示該系統(tǒng)或作業(yè)表無(wú)需監(jiān)控?cái)?shù)據(jù)采集完成進(jìn)度情況，執(zhí)行步驟4時(shí)，直接跳過(guò)監(jiān)控，反饋無(wú)需監(jiān)控信息。