[發(fā)明專利]一種支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811076270.5
• 申請(qǐng)日: 2018-09-14
• 公開（公告）號(hào): CN109271435B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 陳曉偉;劉春憶
• 申請(qǐng)（專利權(quán)）人: 南威軟件股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;H04L67/101;H04L67/1074
• 代理公司: 北京天盾知識(shí)產(chǎn)權(quán)代理有限公司 11421
• 代理人: 張彩珍

1.一種支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法，其特征在于，所述支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法包括：

限定數(shù)據(jù)分批次抽取范圍、每次調(diào)度抽取最多記錄數(shù)；

范圍內(nèi)記錄數(shù)大于設(shè)置的最大值，對(duì)間隔時(shí)間進(jìn)行等分取前者，以此類推直到滿足抽取的范圍數(shù)據(jù)數(shù)量小于或者等于設(shè)置的最大記錄數(shù)；

記錄每次分頁(yè)抽取的抽取時(shí)間截止點(diǎn)、已完成分頁(yè)數(shù)、總分頁(yè)數(shù)狀態(tài)信息；當(dāng)出現(xiàn)服務(wù)器故障、系統(tǒng)內(nèi)存溢出、集群節(jié)點(diǎn)異常不可預(yù)見問題時(shí)，保留原來抽取進(jìn)度，下次調(diào)度時(shí)繼續(xù)抽取未完成的分頁(yè)數(shù)。

2.如權(quán)利要求1所述的支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法，其特征在于，所述支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法具體包括：

步驟一，根據(jù)抽取的數(shù)據(jù)來源信息配置抽取數(shù)據(jù)庫(kù)，選擇增量字段；

步驟二，設(shè)置開始時(shí)間、間隔時(shí)間、每次抽取最大記錄數(shù)、每次調(diào)度分頁(yè)抽取記錄數(shù)，抽取數(shù)據(jù)；

步驟三，記錄并保存流程調(diào)度次數(shù)、流程總抽取記錄數(shù)、流程上次抽取記錄數(shù)、當(dāng)前調(diào)度抽取完成記錄數(shù)、已完成分頁(yè)數(shù)、總分頁(yè)數(shù)，服務(wù)器故障后再次抽取從之前已完成的下一頁(yè)開始抽取。

3.如權(quán)利要求2所述的支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法，其特征在于，

步驟一，具體包括：根據(jù)抽取的數(shù)據(jù)來源信息，選擇有建立索引且內(nèi)容不為空的時(shí)間類型的字段作為增量字段；處理器的“Maximum-value Columns”屬性配置成數(shù)據(jù)庫(kù)的字段，處理器執(zhí)行時(shí)根據(jù)配置的字段組裝SQL的WHERE從句條件；第一次調(diào)度根據(jù)開始時(shí)間初值再加上時(shí)間間隔，這次抽取只抽取該時(shí)間段內(nèi)的數(shù)據(jù)，并在抽取完成后保存已完成的時(shí)間截止值；

每次調(diào)度將上次的截止值作為初值，當(dāng)前次數(shù)調(diào)度抽取的數(shù)據(jù)截止值為上次截止值加上時(shí)間間隔；每次只抽取一批次的數(shù)據(jù)。

4.如權(quán)利要求2所述的支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法，其特征在于，

步驟二具體包括：根據(jù)實(shí)際應(yīng)用場(chǎng)景，抽取數(shù)據(jù)在晚上進(jìn)行；通過控任務(wù)調(diào)度控制任務(wù)執(zhí)行的時(shí)間，通過控制任務(wù)最多抽取記錄數(shù)控制每次任務(wù)最多抽取的量。

5.如權(quán)利要求2所述的支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法，其特征在于，

步驟三具體包括：根據(jù)設(shè)置的每次抽取最大記錄數(shù)、每次調(diào)度分頁(yè)抽取記錄數(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)記錄的分頁(yè)查詢；在首次查詢后記錄當(dāng)前調(diào)度抽取完成記錄數(shù)、已完成分頁(yè)數(shù)、總分頁(yè)數(shù)以及之后每次查詢記錄當(dāng)前調(diào)度抽取完成記錄數(shù)、已完成分頁(yè)數(shù)；

每一次調(diào)度中的每次數(shù)據(jù)庫(kù)查詢成功均將查詢信息記錄，用于流程監(jiān)控及錯(cuò)誤數(shù)據(jù)排查；過程中服務(wù)器發(fā)生故障時(shí)，讀取之前抽取的狀態(tài)信息，繼續(xù)執(zhí)行此次任務(wù)。

6.一種終端，其特征在于，所述終端至少搭載實(shí)現(xiàn)權(quán)利要求1～5任意一項(xiàng)所述支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法的控制器。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如權(quán)利要求1-5任意一項(xiàng)所述的支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法。

8.一種實(shí)現(xiàn)權(quán)利要求1所述支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取方法的支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取系統(tǒng)，其特征在于，所述支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取系統(tǒng)包括：

配置數(shù)據(jù)庫(kù)模塊，用于配置抽取數(shù)據(jù)庫(kù)；

設(shè)置模塊，用于設(shè)置開始時(shí)間、間隔時(shí)間、每次抽取最大記錄數(shù)、每次調(diào)度分頁(yè)抽取記錄數(shù)；

抽取數(shù)據(jù)模塊，用于數(shù)據(jù)的抽取；

記錄和保存模塊，用于記錄并保存流程調(diào)度次數(shù)、流程總抽取記錄數(shù)、流程上次抽取記錄數(shù)、當(dāng)前調(diào)度抽取完成記錄數(shù)、已完成分頁(yè)數(shù)、總分頁(yè)數(shù)。

9.一種互聯(lián)網(wǎng)數(shù)據(jù)抽取平臺(tái)，其特征在于，所述互聯(lián)網(wǎng)數(shù)據(jù)抽取平臺(tái)至少搭載權(quán)利要求8所述的支持?jǐn)帱c(diǎn)續(xù)傳的數(shù)據(jù)抽取系統(tǒng)。