[發明專利]流式數據的處理方法、裝置及系統

在審

• 申請號: 202211223234.3
• 申請日: 2022-10-08
• 公開（公告）號: CN115757391A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 劉洋;張國彪;王萌;王洪昆;邊志宏;王蒙;丁穎;焦楊;馬瑞峰;徐建喜
• 申請（專利權）人: 國能鐵路裝備有限責任公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/25;G06F16/28
• 代理公司: 北京聿宏知識產權代理有限公司 11372
• 代理人: 鄭哲琦;吳昊

1.一種流式數據的處理方法，其特征在于，包括：

接收數據平臺上傳的流式數據；

對所述流式數據中的關鍵信息進行識別，并基于預設的關聯關系確定所述流式數據對應的處理算法；其中，所述關聯關系用于表征所述流式數據中的關鍵信息與所述處理算法的對應關系；

通過所述處理算法確定所述流式數據中的有效數據，并對所述有效數據進行存儲。

2.根據權利要求1所述的流式數據的處理方法，其特征在于，所述對所述流式數據的關鍵信息進行識別，并基于預設的關聯關系確定所述流式數據對應的處理算法之后，還包括：

通過所述處理算法確定所述流式數據中的異常數據，并記錄所述異常數據對應的數據日志。

3.根據權利要求2所述的流式數據的處理方法，其特征在于，通過所述處理算法確定所述流式數據中的異常數據，并記錄所述異常數據對應的數據日志之后，還包括：

接收所述數據平臺發送的更新數據；其中，所述更新數據是基于所述數據平臺對所述數據日志掃描獲得的所述異常數據進行二次處理后得到的；

通過所述處理算法確定所述更新數據中的有效數據，并對所述有效數據進行存儲。

4.根據權利要求1所述的流式數據的處理方法，其特征在于，所述對所述有效數據進行存儲，包括：

將所述有效數據存儲至流式數據庫系統內的數據視圖中。

5.根據權利要求4所述的流式數據的處理方法，其特征在于，所述將所述有效數據存儲至流式數據庫系統內的數據視圖中之后，還包括：

獲取所述數據視圖中的所述有效數據，并對所述有效數據進行批量并行插入數據表操作。

6.根據權利要求1所述的流式數據的處理方法，其特征在于，所述流式數據通過如下過程獲得：

通過所述數據平臺采集物流活動中的原始數據，并確定所述原始數據對應的數據接口的參數格式；

基于所述數據接口的參數格式調整所述原始數據的數據內容，得到所述流式數據；

其中，所述數據接口部署于所述數據平臺中，所述數據接口的參數格式基于待傳輸的所述流式數據的數據格式確定。

7.根據權利要求6所述的流式數據的處理方法，其特征在于，所述數據接口的參數格式通過如下過程得到：

根據物流業務類型和物流業務中的待采集的信息點，確定所述流式數據的數據格式；其中，所述流式數據的數據格式包括數據名稱、時間戳以及關鍵信息點；

將與所述流式數據的數據格式一致的參數格式，作為所述數據接口對應的參數格式。

8.一種流式數據的處理裝置，其特征在于，包括：

接收模塊，用于接收數據平臺上傳的流式數據；

第一處理模塊，用于對所述流式數據中的關鍵信息進行識別，并基于預設的關聯關系確定所述流式數據對應的處理算法；其中，所述關聯關系用于表征所述流式數據中的關鍵信息與所述處理算法的對應關系；

第二處理模塊，用于通過所述處理算法確定所述流式數據中的有效數據，并對所述有效數據進行存儲。

9.一種流式數據的處理系統，其特征在于，包括：數據平臺和流式數據庫系統，所述數據平臺與所述流式數據庫系統連接；

所述數據平臺用于獲取流式數據，并將所述流式數據上傳至所述流式數據庫系統；

所述流式數據庫系統用于接收所述流式數據；對所述流式數據中的關鍵信息進行識別，并基于預設的關聯關系確定所述流式數據對應的處理算法；其中，所述關聯關系用于表征所述流式數據中的關鍵信息與所述處理算法的對應關系；通過所述處理算法確定所述流式數據中的有效數據，并對所述有效數據進行存儲。

10.根據權利要求9所述的流式數據的處理系統，其特征在于，所述數據平臺包括接入端和服務端，所述接入端與所述服務端連接，所述服務端與所述流式數據庫系統連接；

所述接入端用于獲取所述流式數據，并將所述流式數據發送至所述服務端；

所述服務端用于接收所述流式數據，并將所述流式數據通過相應的數據傳輸通道上傳至所述流式數據庫系統。