[發明專利]一種跨系統的非侵入式數據采集技術

在審

• 申請號: 202110169985.0
• 申請日: 2021-02-08
• 公開（公告）號: CN112749171A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 唐琳;周鵬;王富良;張玉豹;李天玉;馮曉麟;姜云;唐鵬;韓立群;李冰;王憲銳;王廣鵬;劉娟;王玉莎;李耀坤;孫葉;邵欣;李仟成;馬德宇;昝洪良;劉銳;王凱隆;栗璞;彭根基
• 申請（專利權）人: 國網山東省電力公司德州供電公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/245;G06F16/248;G06F16/25
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 李桂存

本發明提供了一種跨系統的非侵入式數據采集技術，包括步驟：錄制人工訪問業務系統的操作步驟并將操作步驟編程寫入機器人，使用機器人完成對不同數據類型的查詢與采集將數據更新至大數據平臺的數據倉庫，令機器人通過模擬人工操作以Web方式登錄業務系統根據實際業務需求在數據倉庫內查找目標數據，將目標數據存入后端數據庫、整理并輸出為人工可查看的形式結果。本發明能夠在避免對原始數據系統進行大量改造、避免采用爬蟲等對系統造成高負荷的技術前提下，支持對不同系統的非人工數據采集。

技術領域

本發明涉及計算機軟件及應用領域，更具體涉及一種跨系統的非侵入式數據采集技術。

背景技術

傳統IT建設方式下，電力企業的各種信息系統大多是獨立采購或者獨立建設的，采用的IT技術也不一致，這導致無法做到信息的互聯互通，致使電力企業內部采購形成多個數據孤島。

當前移動互聯網、AI、大數據技術的發展帶來很多新的業務模式。新模式需要通過新的平臺進行支撐，產生的數據與傳統模式下的數據也無法互通、互用，這進一步加劇了數據孤島問題。分散在各個數據孤島的數據無法很好地支撐電力企業的經營決策，也無法很好地應對快速變化的前端業務。

按目前的大數據平臺建立模式，有效而全面的數據采集技術決定了大數據平臺的成敗，目前的數據采集存在如下缺點：

1. 需要通過平臺對接電力企業已有的各種系統，但系統運行時間較久，需要原廠進行接口開發和對接，難度較高、所需費用較大、時間較久。

2. 業務數據跨部門，數據格式和內容不一，若手工輸入則需業務人員花費大量時間去進行基于各個業務系統的人工下載以及各種數據的人工處理，甚至也會出現同種數據被各個業務部門多個人重復更新或覆蓋的情況，很難實現有效的跨部門協作。

3. 對于時效要求較高的數據采集，業務人員的工作壓力很大，長期工作的效率會變低，需采集的數據量越大越需花費的人工時間越多，對于企業而言，也造成了巨大的資源浪費。

4． 采用“爬蟲”等技術進行數據采集，爬蟲通常是使用python語言寫腳本直接操作HTML，抓取網頁數據的速度非常快。但其在應用時，往往采用接口或暴力破解的方式解析網頁內容以獲取資料，會對后臺造成巨大負擔并帶來較大的隱私泄露、數據安全等風險，因此往往會被企業采用反爬蟲機制禁止使用。

發明內容

本發明目的是提供了一種跨系統的非侵入式數據采集技術，能夠在避免對原始數據系統進行大量改造、避免采用爬蟲等對系統造成高負荷的技術前提下，支持對不同系統的非人工數據采集方法。

本發明為實現上述目的，通過以下技術方案實現：

一種跨系統的非侵入式數據采集技術，包括步驟：

1）錄制人工訪問業務系統的操作步驟并將操作步驟編程寫入機器人；

2）使用所述機器人模擬人工操作流程，登入業務系統，完成對不同數據類型的查詢與采集，將查詢與采集的數據更新至大數據平臺的數據倉庫；

3）令機器人通過模擬人工操作以Web方式登錄業務系統，根據實際業務需求在數據倉庫內查找目標數據；

4）將目標數據存入后端數據庫，整理并輸出為人工可查看的形式結果。

進一步的，步驟1還包括：

將操作步驟寫入機器人后，再結合具體場景添加代碼邏輯編寫。

優選的，步驟1使用UFT工具以對象的方式進行錄制，UFT工具通過自身的對象模型庫與錄屏記錄下的頁面GUI元素進行比對，成功映射到UFT對象模型中的某個對象后，自動轉換生成與該人工點擊操作對應的VB代碼，代碼每行都是錄制的一個操作，包含了操作的對象和動作。

優選的，步驟2還包括：

根據不同的需求場景選擇使用一個或多個寫入程序相同或不同的機器人。

優選的，步驟3還包括：