[發(fā)明專利]一種數(shù)據(jù)缺失補漏的智能實現(xiàn)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201410025136.8
• 申請日: 2014-01-20
• 公開（公告）號: CN104794124A
• 公開（公告）日: 2015-07-22
• 發(fā)明（設(shè)計）人: 舒海;朱曉東
• 申請（專利權(quán)）人: 中國移動通信集團重慶有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 張穎玲;王黎延

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)業(yè)務(wù)接口技術(shù)，尤其涉及一種數(shù)據(jù)缺失補漏的智能實現(xiàn)方法與系統(tǒng)。?

背景技術(shù)

數(shù)據(jù)提取、轉(zhuǎn)換和加載（Extraction-Transformation-Loading，ETL）是數(shù)據(jù)抽取（Extract）、清洗（Cleaning）、轉(zhuǎn)換（Transform）、裝載（Load）的過程，是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。?

數(shù)據(jù)倉庫是一個獨立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務(wù)處理環(huán)境、外部數(shù)據(jù)源和脫機的數(shù)據(jù)存儲介質(zhì)導入到數(shù)據(jù)倉庫中；在技術(shù)上，ETL主要涉及到關(guān)聯(lián)、轉(zhuǎn)換、增量、調(diào)度和監(jiān)控等幾個方面，數(shù)據(jù)倉庫中的數(shù)據(jù)不要求與聯(lián)機事務(wù)處理系統(tǒng)中的數(shù)據(jù)實時同步，所以，ETL可以定時進行。?

傳統(tǒng)ETL根據(jù)接口傳輸?shù)奶匦圆捎枚〞r驅(qū)動的方式進行鏈式運算，例如每天晚上八點運算接口A；當接口數(shù)據(jù)缺失時，調(diào)度將無法正常進行，且接口數(shù)據(jù)延遲或缺失數(shù)天后到達時也不能智能進行后續(xù)工作，后續(xù)補漏工作需要人工進行干預。通常，需要維護人員手動進行數(shù)據(jù)補漏操作，或者調(diào)整ETL某些配置/狀態(tài)/開關(guān)，使之開始運算缺失的接口數(shù)據(jù)，給ETL維護人員帶來了麻煩，也給相關(guān)系統(tǒng)帶來了麻煩。?

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例期望提供一種數(shù)據(jù)缺失補漏的智能實現(xiàn)方法與系統(tǒng)，能夠在無用戶干預的情況下，智能完成所有數(shù)據(jù)的缺失補漏操作。?

為達到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：?

本發(fā)明實施例提供了一種數(shù)據(jù)缺失補漏的智能實現(xiàn)方法，所述方法包括：?

掃描未完成任務(wù)對應接口的接口文件，并下載新增或重傳的接口文件；?

將預先生成的任務(wù)日志和接口文件進行匹配，確定匹配成功時，更改任務(wù)日志中任務(wù)狀態(tài)；確定匹配失敗時，跳過當前任務(wù)。?

上述方案中，所述掃描未完成任務(wù)對應接口的接口文件之前，所述方法還包括：讀取任務(wù)日志，確定未完成的任務(wù)，并發(fā)送掃描請求。?

上述方案中，所述下載新增或重傳的接口文件之后，所述方法還包括：在任務(wù)日志中標注文件傳輸協(xié)議（File?Transfer?Protocol，F(xiàn)TP）下載階段為已完成，標注清洗階段為正在進行。?

上述方案中，所述標注清洗階段為正在進行之后，將預先生成的任務(wù)日志和接口文件進行匹配之前，所述方法還包括：讀取任務(wù)日志中任務(wù)狀態(tài)，并發(fā)送接口文件匹配請求。?

本發(fā)明實施例還提供了一種數(shù)據(jù)缺失補漏的智能實現(xiàn)系統(tǒng)，所述系統(tǒng)包括：FTP掃描器和任務(wù)日志管理驅(qū)動器；其中，?

所述FTP掃描器，用于掃描未完成任務(wù)對應接口的接口文件，并下載新增或重傳的接口文件；?

所述任務(wù)日志管理驅(qū)動器，用于將預先生成的任務(wù)日志和接口文件進行匹配，確定匹配成功時，更改任務(wù)日志狀態(tài)；確定匹配失敗時，跳過當前任務(wù)。?

上述方案中，所述系統(tǒng)還包括：核心控制器、接口文件庫、本地文件庫和存儲器；其中，?

所述核心控制器，用于讀取任務(wù)日志，確定未完成的任務(wù)及任務(wù)狀態(tài)，調(diào)度FTP掃描器和任務(wù)日志管理驅(qū)動器的運行；?

所述接口文件庫，用于存儲對方接口機接收的接口文件；?

所述本地文件庫，用于存儲本地接口機的所有接口文件；?

所述存儲器，用于存儲任務(wù)日志。?

上述方案中，所述FTP掃描器還用于，在任務(wù)日志中標注FTP下載階段為?已完成，標注清洗階段為正在進行。?

本發(fā)明實施例所提供的數(shù)據(jù)缺失補漏的智能實現(xiàn)方法，掃描未完成任務(wù)對應接口的接口文件，并下載新增或重傳的接口文件；將預先生成的任務(wù)日志和接口文件進行匹配，確定匹配成功時，更改任務(wù)日志狀態(tài)；確定匹配失敗時，跳過當前任務(wù)。如此，能彌補現(xiàn)有ETL對數(shù)據(jù)延遲、遺失等異常情況處理的不足，提升對數(shù)據(jù)準確性、及時性的保障能力，同時降低對ETL維護的成本，使得增值業(yè)務(wù)綜合運營平臺（Value-added?Service?General?Operation?Platform，VGOP）能夠更有效的對數(shù)據(jù)業(yè)務(wù)進行支撐，為數(shù)據(jù)業(yè)務(wù)長久平穩(wěn)的向前發(fā)展提供指引。?

附圖說明

圖1為本發(fā)明實施例一數(shù)據(jù)缺失補漏的智能實現(xiàn)方法流程示意圖；?

圖2為本發(fā)明實施例二數(shù)據(jù)缺失補漏的智能實現(xiàn)方法流程示意圖；?

圖3為本發(fā)明實施例數(shù)據(jù)缺失補漏的智能實現(xiàn)系統(tǒng)組成結(jié)構(gòu)示意圖。?

具體實施方式