[發明專利]一種大數據處理方法及系統

有效

• 申請號: 202010466573.9
• 申請日: 2020-05-28
• 公開（公告）號: CN111708919B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王軍平
• 申請（專利權）人: 北京賽博云睿智能科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/907;G06F9/50
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 陳國軍

本發明提供一種大數據處理方法及系統，其中，方法包括：根據邊緣數據采集規則進行數據采集；利用人工智能模型對采集的數據進行數據處理，獲得處理后的數據；對處理后的數據進行動態知識圖譜創建和異構數據存儲；在信息空間上對結構、狀態和行為進行可視化孿生；采用虛擬化云操作，進行虛擬資源動態調度、資源可信管理和資源運行狀態管控。所述系統包括與方法步驟對應的模塊。本發明提供的一種大數據處理方法采用邊緣計算、人工智能和可視化孿生技術，能夠避免數據冗余、缺失、沖突的問題。

技術領域

本發明涉及大數據處理技術領域，特別涉及一種大數據處理方法及系統。

背景技術

隨著物聯網、社交媒體等新興技術的快速發展，大數據時代已經逐漸到來，數據產生和傳播的速度不斷加快，數據的價值也會快速下降。如何獲取龐大數據組并從中獲取有價值的數據是大數據處理解決的問題。目前，在大數據處理技術中已經實現了大數據流數據的采集與處理，大數據處理應用于各行各業。但是，大數據處理過程中往往會出現數據冗余、缺失、沖突的問題，因此，提出一種采用邊緣計算、人工智能和可視化孿生技術的大數據處理方法及系統，避免數據冗余、缺失、沖突的問題，實現數據驅動的信息-實體空間深度融合。

發明內容

本發明提供一種大數據處理方法及系統，用以解決大數據處理過程中往往會出現數據冗余、缺失、沖突的問題。

一種大數據處理方法，所述方法包括：

根據邊緣數據采集規則進行數據采集；

利用人工智能模型對采集的數據進行數據處理，獲得處理后的數據；

對處理后的數據進行動態知識圖譜創建和異構數據存儲；

在信息空間上對結構、狀態和行為進行可視化孿生；

采用虛擬化云操作，進行虛擬資源動態調度、資源可信管理和資源運行狀態管控。

優選地，所述數據采集采集的數據格式包括圖像、視頻、文本和音頻。

優選地，所述根據邊緣數據采集規則進行數據采集，包括：

基于光學系統的傾斜邊緣計算方法進行數據采集；

對采集的數據進行數據清洗；

根據分布式異構數據源對清洗后的采集數據進行語義集成；

根據采集的數據及語義集成的結果進行數據傳輸消息隊列管理，并對數據進程狀態實時監控。

優選地，所述利用人工智能模型對采集的數據進行數據處理，包括：

對采集的數據利用人工智能模型獲取數據的特征；

根據所述的數據特征獲取所述采集的數據的分布規律；

根據所述數據的特征及規律生成多樣化的可視化算法模型庫。

優選地，所述對采集的數據利用人工智能模型獲取數據的特征，包括：

步驟1、整理采集的數據；

將采集的數據記為矩陣S，矩陣S可表示為：

其中，a_ij為采集的關于屬性i的第j類型數據，i和j的取值均為從1到n，n為所述采集的數據的屬性數目，也是所述采集的數據的類型數目；

步驟2、根據下述公式，對采集的數據矩陣進行第一處理；

其中，S'為采集的數據矩陣S第一處理后的對應矩陣，a_ij為采集的關于屬性i的第j類型數據，i和j的取值均為從1到n，n為所述采集的數據的屬性數目，也是所述采集的數據的類型數目；