[發明專利]可見光通信大數據實時處理方法和系統

有效

• 申請號: 201810266976.1
• 申請日: 2018-03-28
• 公開（公告）號: CN108647228B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 陳相舟;張庚;薛佳睿;丁慧霞;汪洋;辛軍;元夢瑩;趙百捷;梁馨予;王亞男;甄妮;崔建華;王智慧;任一丹;鐘浩;何瀟
• 申請（專利權）人: 中國電力科學研究院有限公司;國網河南省電力鄭州供電公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;H04B10/116
• 代理公司: 北京工信聯合知識產權代理有限公司 11266
• 代理人: 朱振德

1.一種可見光通信大數據實時處理方法，包括如下步驟：

將所述大數據存儲在第一存儲模塊上，對所述第一存儲模塊中的各個數據進行初始優化；

將初始優化后的數據輸出至緩存中，繼續對所述緩存中的數據進行壓縮；

將所述緩存中壓縮后的數據轉存在第二存儲模塊上，對所述第二存儲模塊上數據的大小和粒度進行分離，將分離后的數據返回至所述緩存中，對所述第二存儲模塊上數據的大小和粒度進行分離后，根據數據粗細粒度的不同進行資源分配，其中根據數據粗細粒度的不同進行資源分配時，對于粗粒度的數據分配方法為：將未分離前的數據傳輸至預測器，通過所述預測器將粗粒度的數據傳輸至調度器；所述調度器將數據輸出至數據傳輸中，通過任務管理對數據進行清除處理；根據數據粗細粒度的不同進行資源分配時，對于細粒度的數據分配方法為：將未分離前的數據傳輸至控制器，通過所述控制器將細粒度的數據傳輸至調度器；所述調度器將數據輸出至數據傳輸中，通過任務管理對數據進行清除處理；

將所述緩存中分離后的數據存儲在第三存儲模塊上，對所述第三存儲模塊中的數據再次優化，將再次優化后的數據按照執行計劃輸出。

2.根據權利要求1所述可見光通信大數據實時處理方法，其特征在于：將所述大數據存儲在第一存儲模塊上的方法為：所述大數據通過預先構建的非結構化數據模型存儲在所述第一存儲模塊上。

3.根據權利要求2所述可見光通信大數據實時處理方法，其特征在于：所述非結構化數據模型包括一個數據對象以及與所述數據對象相關的屬性，其中所述屬性包括與所述屬性相關的特性。

4.根據權利要求1所述可見光通信大數據實時處理方法，其特征在于：所述第二存儲模塊上數據的大小和粒度進行分離的方法為：將所述數據按照任務類型劃分成多個小體積文件，將所述小體積文件合并為可傳輸的大體積文件，將所述大體積文件按照結果劃分，并將所有結果合并后輸出最終數據。

5.根據權利要求1所述可見光通信大數據實時處理方法，其特征在于：對所述第三存儲模塊中的數據再次優化的方法為對所述數據進行過濾。

6.根據權利要求1所述可見光通信大數據實時處理方法，其特征在于：將再次優化后的數據按照執行計劃輸出前，對再次優化后的數據進行并行處理。

7.一種可見光通信大數據實時處理系統，其特征在于：包括：

第一存儲模塊和初始優化模塊，其中所述第一存儲模塊用于存儲大數據，所述初始優化模塊用于對所述第一存儲模塊 中的各個數據進行第一次優化；

緩存和壓縮模塊，其中所述緩存用于存儲第一次優化后的數據，所述壓縮模塊用于對所述緩存中的數據進行壓縮；

第二存儲模塊和分離模塊，其中所述第二存儲模塊用于存儲在所述緩存中壓縮后的數據；所述分離模塊用于對所述第二存儲模塊上數據的大小和粒度進行分離，且將分離后的數據返回至所述緩存中，對所述第二存儲模塊上數據的大小和粒度進行分離后，根據數據粗細粒度的不同進行資源分配，其中根據數據粗細粒度的不同進行資源分配時，對于粗粒度的數據分配為：將未分離前的數據傳輸至預測器，通過所述預測器將粗粒度的數據傳輸至調度器；所述調度器將數據輸出至數據傳輸中，通過任務管理對數據進行清除處理；根據數據粗細粒度的不同進行資源分配時，對于細粒度的數據分配為：將未分離前的數據傳輸至控制器，通過所述控制器將細粒度的數據傳輸至調度器；所述調度器將數據輸出至數據傳輸中，通過任務管理對數據進行清除處理；

第三存儲模塊和第二優化模塊，其中所述第三存儲模塊用于存儲所述緩存中分離后的數據，所述第二優化模塊用于對所述第三存儲模塊中的數據進行再次優化，并將第二次優化后的數據按照計劃輸出。