[發明專利]數據處理方法、裝置及計算機設備

在審

• 申請號: 202010812467.1
• 申請日: 2020-08-13
• 公開（公告）號: CN112416316A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 王翔宇
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲;王勇

本申請公開了一種數據處理方法、裝置，屬于數據處理技術領域。該方法包括：獲取配置文件，所述配置文件包括數據采集層的第一配置信息，數據解析層的第二配置信息以及數據發送層的第三配置信息；對所述配置文件進行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；根據所述第一配置信息采集預設路徑下的文件，并根據所述文件生成第一事務；將所述第一事務發送給所述數據解析層，以使所述數據解析層根據所述第二配置信息對所述第一事務進行解析，得到第二事務；將所述第二事務發送給數據發送層，以使所述數據發送層根據所述第三配置信息將所述第二事務發送給預設的數據網關。本申請可以提高數據采集組件的可擴展性。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置及計算機設備。

背景技術

數據采集組件作為一個獨立的進程運行于服務器上，用于對服務器上數據進行采集、解析與發送。然而，現有技術中單個數據采集組件往往只能針對單一的數據采集場景進行數據處理，當開發人員如果想增加額外的功能，往往面臨著復雜的代碼改動，即現有的數據采集組件的可擴展性較差。

發明內容

有鑒于此，現提供一種數據處理方法、裝置、算機設備及計算機可讀存儲介質，以解決現有的數據采集組件的可擴展性較差的問題。

本申請提供了一種數據處理方法，包括：

獲取配置文件，所述配置文件包括數據采集層的第一配置信息，數據解析層的第二配置信息以及數據發送層的第三配置信息；

對所述配置文件進行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；

根據所述第一配置信息采集預設路徑下的文件，并根據所述文件生成第一事務；

將所述第一事務發送給所述數據解析層，以使所述數據解析層根據所述第二配置信息對所述第一事務進行解析，得到第二事務；

將所述第二事務發送給數據發送層，以使所述數據發送層根據所述第三配置信息將所述第二事務發送給預設的數據網關。

可選地，所述第一配置信息包括數據采集插件的第一標識信息以及采集所述文件的路徑信息，所述根據所述第一配置信息采集預設路徑下的文件，并根據所述文件生成第一事務包括：

根據所述第一標識信息啟動與所述第一標識信息對應的數據采集插件，并通過所述數據采集插件根據所述路徑信息采集所述文件；

對采集到的文件進行封裝生成所述第一事務。

可選地，所述數據解析層包括數據解析插件，所述第二配置信息包括所述數據解析插件的第二標識信息以及所述數據解析插件對應的解析類型信息，所述數據解析層根據所述第二配置信息對所述第一事務進行解析，得到第二事務包括：

根據所述第二標識信息啟動與所述第二標識信息對應的數據解析插件；

所述數據解析插件根據所述解析類型信息對所述第一事務進行解析，得到所述第二事務。

可選地，所述數據解析層包括至少兩個數據解析插件，所述第二配置信息還包括所述數據解析插件的層級信息，所述根據所述第二標識信息啟動與所述第二標識信息對應的數據解析插件包括：

根據所述層級信息與所述第二標識信息依次啟動與所述第二標識信息對應的數據解析插件。

可選地，所述數據發送層包括數據發送插件，所述第三配置信息包括所述數據發送插件的第三標識信息及所述數據網關的地址信息，所述數據發送層根據所述第三配置信息將所述第二事務發送給預設的數據網關包括：

根據所述第三標識信息啟動與所述第三標識信息對應的數據發送插件；

所述數據發送插件根據所述地址信息將所述第二事務發送給預設的數據網關。