[發明專利]數據處理的方法、裝置、設備和計算機可讀介質

有效

• 申請號: 202011325604.5
• 申請日: 2020-11-23
• 公開（公告）號: CN113778959B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 穆啟健
• 申請（專利權）人: 北京京東振世信息技術有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18;G06Q40/12
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 郭晗;趙迪

本發明公開了數據處理的方法、裝置、設備和計算機可讀介質，涉及計算機技術領域。該方法的一具體實施方式包括：通過生成業務數據時的日志文件，監聽生成所述業務數據時的消息；根據所述日志文件中的標識，調用數據基礎信息補全所述日志文件得到日志數據，并將所述日志數據寫入數據池；實時抽取所述數據池中的數據，并推送抽取的數據。該實施方式能夠減少數據延遲。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據處理的方法、裝置、設備和計算機可讀介質。

背景技術

目前，財務入賬方案集成大多采用電子商務軟件。電子商務軟件的實施是依據統一待集成的數據池。在海量數據場景下，上述數據池中數據來源包括以下兩種。

一種是基于統一業務數據對接。另一種基于大數據平臺統一抽取業務數據，然后對接到電子商務軟件中。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：由于業務數據的數據量巨大，大數據平臺通過時間延遲的方式抽取業務數據，存在數據延遲較大的技術問題。

發明內容

有鑒于此，本發明實施例提供一種數據處理的方法、裝置、設備和計算機可讀介質，能夠減少數據延遲。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據處理的方法，包括：

通過生成業務數據時的日志文件，監聽生成所述業務數據時的消息；

根據所述日志文件中的標識，調用數據基礎信息補全所述日志文件得到日志數據，并將所述日志數據寫入數據池；

實時抽取所述數據池中的數據，并推送抽取的數據。

所述通過生成業務數據時的日志文件，監聽生成所述業務數據時的消息，包括：

采用預設方式獲取生成業務數據時的日志文件，監聽生成所述業務數據時的消息。

所述業務數據通過生成業務數據時的日志文件，包括：

獲取生成所述業務數據時的日志文件失敗的情況下，則存儲生成所述業務數據時的信息；

解析生成所述業務數據時的信息，得到生成所述業務數據時的日志文件；

所述根據所述日志文件中的標識，調用數據基礎信息補全所述日志文件得到日志數據，包括：

根據所述日志文件中的標識，調用所述數據基礎信息失敗，則存儲調用所述數據基礎信息的數據；

解析所述調用所述數據基礎信息的數據，得到所述數據基礎信息以補全所述日志文件得到日志數據。

所述調用數據基礎信息補全所述日志文件得到日志數據，包括：

調用所述數據基礎信息失敗，則在預設時間段后再次調用所述數據基礎信息成功；

利用再次調用得到的數據基礎信息補全所述日志文件得到日志數據

所述方法還包括：

通過比較兩個或三個監控表，監控所述數據處理，所述監控表包括第一數據監控表、第二數據監控表和第三數據監控表，

所述第一數據監控表是根據所述日志文件獲取的，所述第二數據監控表是根據所述數據池中的數據獲取的，所述第三數據監控表是根據所述實時抽取數據獲取的。

所述根據所述日志文件中的標識，調用數據基礎信息補全所述日志文件得到日志數據，包括：

根據數據表的日志文件，更新緩存中的數據；

根據所述日志文件中的標識，在所述緩存中調用數據基礎信息補全所述日志文件得到日志數據。