[發明專利]一種大數據處理方法及系統

有效

• 申請號: 202010466573.9
• 申請日: 2020-05-28
• 公開（公告）號: CN111708919B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王軍平
• 申請（專利權）人: 北京賽博云睿智能科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/907;G06F9/50
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 陳國軍

1.一種大數據處理方法，其特征在于，所述大數據處理方法包括：

根據邊緣數據采集規則進行數據采集；

利用人工智能模型對采集的數據進行數據處理，獲得處理后的數據；

對處理后的數據進行動態知識圖譜創建和異構數據存儲；包括：

確定數據集成的數據模型；

通過所述數據模型獲取處理后的數據的數據圖表；

根據分布式圖處理框架將所述數據圖表拆分為子圖；

對所述子圖進行迭代計算，確定數據集；

配置數據訪問函數和接口，構成動態知識圖譜；

針對動態知識圖譜定義數據存儲形式；

將處理后的數據轉換成定義的數據存儲形式進行存儲；

在信息空間上對結構、狀態和行為進行可視化孿生；

采用虛擬化云操作，進行虛擬資源動態調度、資源可信管理和資源運行狀態管控。

2.根據權利要求1所述的方法，其特征在于，所述數據采集采集的數據格式包括圖像、視頻、文本和音頻。

3.根據權利要求1所述的方法，其特征在于，所述根據邊緣數據采集規則進行數據采集，包括：

基于光學系統的傾斜邊緣計算方法進行數據采集；

對采集的數據進行數據清洗；

根據分布式異構數據源對清洗后的采集數據進行語義集成；

根據采集的數據及語義集成的結果進行數據傳輸消息隊列管理，并對數據進程狀態實時監控。

4.根據權利要求1所述的方法，其特征在于，所述利用人工智能模型對采集的數據進行數據處理，包括：

對采集的數據利用人工智能模型獲取數據的特征；

根據所述的數據特征獲取所述采集的數據的分布規律；

根據所述數據的特征及規律生成可視化算法模型庫。

5.根據權利要求4所述的方法，其特征在于，所述對采集的數據利用人工智能模型獲取數據的特征，包括：

步驟1、整理采集的數據；

將采集的數據記為矩陣S，矩陣S可表示為：

其中，ɑ_ij為采集的關于屬性i第j型數據，i和j取值均為從1到n，n為所述采集的數據的屬性數目，也是所述采集的數據的類型數目；

步驟2、根據下述公式，對采集的數據矩陣進行第一處理；

其中，S′為采集的數據矩陣S第一處理后的對應矩陣，ɑ_ij為采集的關于屬性i的第j類型數據，i和j的取值均為從1到n，n為所述采集的數據的屬性數目，也是所述采集的數據的類型數目；

步驟3、根據下述公式計算協方差；

其中，R為S′的協方差矩陣，T為轉置符號，n為所述采集的數據的矩陣的階數；

步驟4、對協方差矩陣R進行特征分解，得到特征值；

其中，λ_p為協方差矩陣的特征值，p的取值為從1到k，k為特征值的數目；

步驟5、根據λ_pR-E得到特征值分別對應的特征向量，并構成協方差矩陣R子空間的基W，，d為子空間的維數也是特征向量的數目；

步驟6、得到數據特征；

其中，D為數據的特征矩陣，W為協方差矩陣R子空間的基，S′為采集的數據矩陣S第一處理后的對應矩陣。