[發明專利]文旅資源采集方法和系統

在審

• 申請號: 202111021050.4
• 申請日: 2021-09-01
• 公開（公告）號: CN113626513A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 趙進平;陳海江
• 申請（專利權）人: 浙江力石科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22;G06F16/215;G06F16/28
• 代理公司: 南京普睿益思知識產權代理事務所(普通合伙) 32475
• 代理人: 曹花

本發明涉及一種文旅資源采集方法和系統，一種文旅資源采集方法，包括以下步驟：數據采集，采集程序進行數據的采集將原始數據保存入庫；數據抽取，抽取程序進行數據的聚合和分析，將原始數據經過抽取轉化成業務需要的數據，并保存至中間臨時數據表；數據交換，交換程序將抽取完成的業務數據交換至業務數據庫，供業務系統使用。本發明的有益之處在于，通過將整個文旅數據采集過程分為3個步驟，每個步驟獨立運行工作，處理各自的業務邏輯，抽取和交換程序出現問題不會影響采集程序的正常運行，不會造成數據丟失，同時加入監控程序，采集的每一個過程遇到問題都能實時預警和通知開發人員，方便排查問題。

技術領域

本發明涉及一種文旅資源采集方法和系統。

背景技術

文旅行業和用戶息息相關，產生多種多樣的數據格式不統一，目前基本使用接口對接的方式按需采集，即數據提供方提供采集接口，數據采集方調用采集接口獲取數據，對數據進行加工存儲，幾乎每次采集都需要定制開發。

一方面，每次采集都需要定制開發，工作量龐大，數據加工存儲的邏輯會非常多樣，不利于后期維護；另一方面，數據質量和完整性無法保障，接口報錯或數據格式有錯誤時不能及時預警，造成階段性數據丟失。

發明內容

本發明的目的在于提供一種文旅資源采集方法和系統，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種文旅資源采集方法，包括以下步驟：

數據采集，采集程序進行數據的采集將原始數據保存入庫；

數據抽取，抽取程序進行數據的聚合和分析，將原始數據經過抽取轉化成業務需要的數據，并保存至中間臨時數據表；

數據交換，交換程序將抽取完成的業務數據交換至業務數據庫，供業務系統使用；

其中，數據采集、數據抽取和數據交換的過程中均進行實時控制和監控，出現異常時可以實時預警。

作為本發明的進一步方案：采集程序通過字段映射配置和任務調度的方法，將接口對接的數據全量存儲入庫。

作為本發明的進一步方案：數據采集，包括以下步驟：

第一步，建立符合采集數據標準的規約庫；

第二步，配置采集字段和規約庫的表字段的映射關系；

第三步，配置數據采集的接口請求參數和采集頻率；

第四步，配置數據采集程序預警規則；

第五步，啟用采集程序。

作為本發明的進一步方案：抽取程序根據文旅業務數據使用要求，將采集的全量數據聚合分析成有價值的業務數據并存儲在中間臨時數據表中。

作為本發明的進一步方案：數據抽取，包括以下步驟：

第一步，建立符合抽取標準的規約表；

第二步，配置抽取規則，即源數據字段聚合及計算規則；

第三步，將第二步結果映射至抽取表數據字段；

第四步，配置數據抽取程序預警規則；

第五步，啟用抽取程序。

作為本發明的進一步方案：交換程序根據文旅業務數據要求，將抽取的結果數據轉換至文旅業務數據庫。

作為本發明的進一步方案：數據交換，包括以下步驟：

第一步，配置抽取程序規約庫連接；

第二步，配置文旅業務數據庫連接；