[發明專利]一種基于數據采集與對賬的系統及方法

在審

• 申請號: 202211515682.0
• 申請日: 2022-11-30
• 公開（公告）號: CN116089508A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 陳坤;章莉
• 申請（專利權）人: 貴州多彩寶互聯網服務有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06Q40/12
• 代理公司: 北京瑞盛銘杰知識產權代理事務所(普通合伙) 11617
• 代理人: 李績

本發明涉及數據采集、數據倉庫、歸并排序方法，特別涉及一種基于數據采集與對賬的系統，包括：數據采集接口模塊，用于接收用戶通過人機交互界面制定的配置采集規則；核對模塊，用于根據所述配置采集規則對本系統數據和目標系統數據進行核對，所述本系統和所述目標系統為異構數據倉庫。本發明還公開了一種基于數據采集與對賬系統的方法。本發明在數據倉庫中，通過數據管道對各個業務線的業務數據進行ETL抽取，并全部存儲到對賬系統集群，可以通過計算對數據進行加工處理。在對賬系統集群中，通過通用化的設計，簡潔的配置，高效率的比對，使得對賬環節能夠解決大多數業務線的通用的數據對賬問題。

技術領域

本發明涉及數據采集、數據倉庫、歸并排序方法，特別涉及一種基于數據采集與對賬的系統及方法。

背景技術

目前的數據對賬工作主要依托于人力與物力的堆砌，每天的對賬工作需要在多個對賬的表單中進行處理，手工工作量繁雜，只能依靠人力，缺乏有效的管理，在多個數據源之間進行處理時很容易造成差錯，容錯率極低，缺乏復雜情況下的有效應應急處理方式。

系統建設目標是利用自動化手段建立功能齊全、操作實用，并與企業業務現狀相適應的數據采集與對賬系統，逐步滿足各業務數據對賬的需要，實現對賬數據的傳輸流暢準確，安全高效，減少人工對賬成本，提高業務數據對賬的質量，防范風險，保障資金的安全。

基于哈希表(hash-table)數據結構的比對算法表中元素沒有排序，對賬差異調平時需要元素是有序的，不能高效的進行比對排序。

發明內容

本發明要解決的技術問題是提供一種基于數據采集與對賬的系統及方法。

為了解決上述技術問題，本發明的技術方案為：

一種基于數據采集與對賬的系統，包括：

數據采集接口模塊，用于接收用戶通過人機交互界面制定的配置采集規則；

核對模塊，用于根據所述配置采集規則對本系統數據和目標系統數據進行核對，所述本系統和所述目標系統為異構數據倉庫。

所述核對模塊包括：

任務分解單元，用于將數據核對任務分解成至少一個子任務，每一個子任務都與由至少一條指令組成的指令集相關聯；

操作單元，用于分別根據每組指令集，通過調用相應的采集指令從業務系統采集原始數據；

報告分析單元，用于根據所述適配規則對所述數據進行動態適配處理，以生成本系統可識別的資源對象，所述本系統可識別的資源對象對應所述本系統的信息表的一部分，所述本系統的信息表的內容為待核對的本系統資源對象；

數據組裝單元：用于將每個子任務所對應生成的本系統可識別的資源對象進行組裝，以生成待核對的業務系統資源對象，所述待核對的業務系統資源對象對應所述本系統的信息表；

核對單元：用于根據所確定的核對數據項，將待核對的業務系統資源對象與本系統的信息表進行比對，并標注比對結果，然后根據核對規則進行數據同步處理。

一種基于數據采集與對賬系統的方法，包括以下步驟：

步驟S1，接入業務系統，采集數據源，配置采集接口規則；

步驟S2，通過步驟S1采集數據，傳輸至目標表；

步驟S3，通過將不同源的數據采集加工成標準化或易于對賬的數據，為對賬系統數據對賬做準備；

步驟S4，通知對賬系統，所需對賬的源數據表在哪兒，歸屬哪個業務線；

步驟S5，待對賬數據和對賬結果數據均存儲在數據倉庫表中，記錄數據的插入時間以及插入序號；