[發明專利]數據整合方法、系統及計算機可讀存儲介質

在審

• 申請號: 202110562395.4
• 申請日: 2021-05-21
• 公開（公告）號: CN113407604A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 廖星培;陳慧;吳開宇;黃燕清;郭水萍
• 申請（專利權）人: 上汽通用五菱汽車股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 鄭雪梅

1.一種數據整合方法，其特征在于，所述數據整合方法包括：

獲取各子系統的源數據；

分別對所述各子系統的源數據進行標準化處理，得到標準化數據；

對所述標準化數據進行數據清洗；

對各子系統清洗后的標準化數據進行整合。

2.如權利要求1所述的數據整合方法，其特征在于，所述分別對所述各子系統的源數據進行標準化處理，得到標準化數據的步驟包括：

根據預設標準標簽，分別檢測所述各子系統的源數據的標簽中是否存在非標準標簽；

若所述源數據的標簽中存在非標準標簽，則將所述源數據中的非標準標簽與所述預設標準標簽進行匹配，得到對應的目標標準標簽；

將所述源數據中的非標準標簽替換為對應的目標標準標簽，得到標準化數據。

3.如權利要求1所述的數據整合方法，其特征在于，所述對所述標準化數據進行數據清洗的步驟包括：

根據預設數據主鍵，檢測所述標準化數據中各類數據的關鍵標準標簽對應的標簽值是否存在空缺；

若存在空缺，則將關鍵標準標簽對應的標簽值存在空缺的標準化數據刪除。

4.如權利要求1所述的數據整合方法，其特征在于，所述對所述標準化數據進行數據清洗的步驟包括：

根據預設數據主鍵，檢測同類數據中是否存在多個同一主體的標準化數據；

若存在，則判斷所述多個同一主體的標準化數據中對應關鍵標準標簽的標簽值是否相同；

若不相同，將所述多個同一主體的標準化數據中對應的不同標簽值取并集合并在對應關鍵標準標簽中，并將所述多個同一主體數據對應的相同標簽值取交集合并在對應關鍵標準標簽中。

5.如權利要求1所述的數據整合方法，其特征在于，所述對所述標準化數據進行數據清洗的步驟包括：

檢測所述標準化數據中的標簽值是否存在異常名稱或者異常格式；

若存在異常名稱，則根據預設標準名稱，將所述標準化數據中的異常名稱轉換為對應的目標標準名稱；

若存在異常格式，則根據預設標準格式，將所述標準化數據中的異常格式轉換為對應的目標標準格式。

6.如權利要求3至5中任一項所述的數據整合方法，其特征在于，所述對所述標準化數據進行數據清洗的步驟之前，還包括：

對所述源數據的標簽進行統計，將統計結果發送至工作端；

接收所述工作端基于所述統計結果反饋的所述預設數據主鍵。

7.如權利要求1至5中任一項所述的數據整合方法，其特征在于，所述對各子系統清洗后的標準化數據進行整合的步驟包括：

獲取各子系統清洗后的標準化數據的數據標識；

根據所述數據標識確定各子系統清洗后的標準化數據所屬的類別；

根據確定得到的類別對各子系統清洗后的標準化數據進行整合。

8.如權利要求1至5中任一項所述的數據整合方法，其特征在于，所述數據整合方法還包括：

每隔預設時間獲取各子系統的實時數據；

將所述實時數據與所述源數據進行比對，以檢測各子系統是否存在新增數據；

若存在，則獲取所述新增數據，并對所述新增數據進行標準化處理和數據清洗，得到處理后的新增數據；

根據所述處理后的新增數據對已整合的數據進行更新。

9.一種數據整合系統，其特征在于，所述數據整合系統包括存儲器、處理器、以及存儲在所述存儲器上并可在所述處理器上運行的數據整合程序，所述數據整合程序被處理器執行時實現如權利要求1至8中任一項所述的數據整合方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有數據整合程序，所述數據整合程序被處理器執行時實現如權利要求1至8中任一項所述的數據整合方法的步驟。