[發明專利]數據的實時處理方法、裝置、設備及存儲介質

有效

• 申請號: 201911375134.0
• 申請日: 2019-12-27
• 公開（公告）號: CN111125161B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 孫懷闊;周泉
• 申請（專利權）人: 中國移動通信集團江蘇有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455;G06F16/25;G06F16/28;G06F16/22;G06F9/50
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 趙秀芹

1.一種數據的實時處理方法，其特征在于，所述方法包括：

對采集到的數據進行分流處理，得到分流數據文件；

對所述分流數據文件進行排序，得到順序文件；

對所述順序文件中的數據進行預處理，得到預處理數據，所述預處理包括對所述順序文件中的數據內容進行格式統一、編碼轉換以及字段簡化；

根據預設條件對所述預處理數據中的第一部分數據進行分割，得到所述第一部分數據的上下行數據；

對所述上下行數據和所述預處理數據中的第二部分數據進行指標列轉行，生成全維度基礎寬表；

根據所述全維度基礎寬表和IQ數據庫，生成多維度寬表數據。

2.根據權利要求1所述的方法，其特征在于，所述對采集到的數據進行分流處理，得到分流數據文件，包括：

根據時間粒度將所述采集到的數據進行分流，得到分流數據；

在不同線程中對所述分流數據執行異步并行處理，得到所述分流數據文件。

3.根據權利要求1所述的方法，其特征在于，所述根據預設條件對所述預處理數據中的第一部分數據進行分割，得到所述第一部分數據的上下行數據，包括：

根據接口協議獲取所述預處理數據中的所述第一部分數據；

根據預設條件對所述第一部分數據進行按行分割，得到所述第一部分數據的上下行數據。

4.根據權利要求1所述的方法，其特征在于，所述根據所述全維度基礎寬表和IQ數據庫，生成多維度寬表數據，包括：

對所述全維度基礎寬表進行多線程并發上傳，得到順序基礎寬表；

根據所述順序基礎寬表和所述IQ數據庫，生成多維度寬表數據。

5.根據權利要求1-4任意一項所述的方法，其特征在于，在所述對所述順序文件中的數據進行預處理之前，包括：

將所述順序文件緩存至內存文件系統。

6.根據權利要求5所述的方法，其特征在于，在所述根據所述全維度基礎寬表和IQ數據庫，生成多維度寬表數據之前，所述方法還包括：

當數據丟失時，根據預先持久化到磁盤上的數據進行數據補算。

7.一種數據的實時處理裝置，其特征在于，所述裝置包括：

分流模塊，對采集到的數據進行分流處理，得到分流數據文件；

排序模塊，用于對所述分流數據文件進行排序，得到順序文件；

預處理模塊，用于對所述順序文件中的數據進行預處理，得到預處理數據，所述預處理包括對所述順序文件中的數據內容進行格式統一、編碼轉換以及字段簡化；

分割模塊，用于根據預設條件對所述預處理數據中的第一部分數據進行分割，得到所述第一部分數據的上下行數據；

全維度匯總模塊，用于對所述上下行數據和所述預處理數據中的第二部分數據進行指標列轉行，生成全維度基礎寬表；

多維度匯總模塊，用于根據所述全維度基礎寬表和IQ數據庫，生成多維度寬表數據。

8.根據權利要求7所述的裝置，其特征在于，所述分流模塊具體用于：

根據時間粒度將所述采集到的數據進行分流，得到分流數據；

在不同線程中對所述分流數據執行異步并行處理，得到所述分流數據文件。

9.根據權利要求7所述的裝置，其特征在于，所述分割模塊具體用于：

根據接口協議獲取所述預處理數據中的所述第一部分數據；

根據預設條件對所述第一部分數據進行按行分割，得到所述第一部分數據的上下行數據。

10.根據權利要求7所述的裝置，其特征在于，所述多維度匯總模塊具體用于：

對所述全維度基礎寬表進行多線程并發上傳，得到順序基礎寬表；

根據所述順序基礎寬表和IQ數據庫，得到多維度寬表數據。