[發明專利]一種面向海量異構多維數據采集的質量大數據系統

有效

• 申請號: 202110051318.2
• 申請日: 2021-01-15
• 公開（公告）號: CN112380224B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 金震;王兆君;李明;曹朝輝
• 申請（專利權）人: 北京三維天地科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215;G06F16/25;G06F16/2458;G06F16/26
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 朱健

1.一種面向海量異構多維數據采集的質量大數據系統，其特征在于，包括：

海量異構多維數據采集模塊，用于對海量異構質量數據進行采集；

質量數據治理模塊，用于對采集的海量異構質量數據進行數據治理；

質量數據存儲模塊，用于存儲數據治理后的海量異構質量數據；

質量數據智能診斷分析模塊，用于通過多種數據模型對數據治理后的海量異構質量數據進行數據智能診斷分析；

質量數據多維動態感知模塊，用于根據數據智能診斷結果，將數據治理后的海量異構質量數據進行可視化展示；

質量數據專項數據應用模塊，用于基于可視化展示結果提取專項數據，并面向使用者進行數據服務；

數據拆解單元，用于將所述海量異構質量數據中的復雜信息進行智能拆解；

數據處理單元，用于根據預設的數據關聯、智能匹配方法對拆解后的復雜信息進行標準化；

數據清洗單元，用于將標準化后的復雜信息進行清洗；

所述數據清洗單元在對標準化后的數據進行清洗，包括：

獲取所述異構多維質量數據，并根據預設數據拆解規則將所述異構多維質量數據進行橫向切分，獲得N個橫向數據子集；

同時，將所述異構多維質量數據在進行縱向切分，獲得M個縱向數據子集；

其中，N的取值大小與M相同；

確定所述橫向數據子集與所述縱向數據子集的耦合度和相似度；

通過預設算法，根據所述耦合度和相似度，將所述橫向數據子集與所述縱向數據子集按重要程度進行排序，并賦于相應的標簽，得到待清洗數據；

基于所述標簽，獲取所述待清洗數據的屬性信息，并基于所述屬性信息將所述多個待清洗數據劃分為至少一個類別的待清洗數據；

分別從每個類別的所述待清洗數據中抽取部分中間數據，并根據預設的數據清洗規則分別對每個類別的中間數據進行清洗，得到中間數據清洗結果；

根據所述中間數據清洗結果確定所述每個類別的待清洗數據所對應的實際清洗規則；

基于所述每個類別的待清洗數據對應的實際清洗規則，去除所述待清洗數據中的錯誤數據；

所述錯誤數據至少包括空值和非數據類型數據；

同時，對去除所述待清洗數據中的錯誤數據后的所述待清洗數據進行數據點補位，并根據時間因素對所述待清洗數據進行排序，并生成對應的序列號；

根據所述序列號，計算所述待清洗數據的綜合特征值，并根據所述綜合特征值去除所述待清洗數據中的極值；

同時，根據所述待清洗數據的特綜合征值篩選出所述待清洗數據中的異常數據，并將所述異常數據進行清除，完成對所述待清洗數據的清洗。

2.如權利要求1所述的質量大數據系統，其特征在于，

采集到的所述異構質量數據包括：電商平臺質量數據、電商平臺營銷數據、質檢機構質量檢驗檢測數據、質量監督抽查數據、生產廠家出廠備案數據、質量投拆舉報數據、質量輿情監測數據。

3.如權利要求1所述的質量大數據系統，其特征在于，所述質量數據存儲模塊包括：

數據查詢單元，用于通過預設的存儲查詢方法對待存儲的海量異構質量數據進行定位，查詢需要的目標異構質量數據；

數據接入單元，用于通過預設的高壓縮比技術，將查詢到的所述目標異構質量數據進行數據接入。

4.如權利要求3所述的質量大數據系統，其特征在于，

所述質量數據存儲模塊，還用于在對數據進行存儲時，從應用、用戶、內容、時間、威脅、位置六個維度實現對數據的一體化網絡安全防護；

同時，所述質量數據存儲模塊，還用于為多分級可量化動態標準體系在進行產品質量監管和服務時，提供應用支撐。

5.如權利要求3所述的質量大數據系統，其特征在于，

所述數據接入的方式是采用實時數據接入、數據庫接入、文本接入、互聯網數據接入、第三方匹配數據補充接入中的任一種或多種方式的組合。

6.如權利要求1所述的質量大數據系統，其特征在于，對數據治理后的海量異構質量數據進行數據智能診斷分析的方法，包括：

回歸分析、聚類分析、關聯分析方法中的任一種或多種方法。