[發明專利]基于大數據平臺的大壩變形預測方法

在審

• 申請號: 201711487838.8
• 申請日: 2017-12-29
• 公開（公告）號: CN108228819A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 饒小康;賈寶良;張金燿;羅熠;張慧;郭亮;賀毅;張興;張念;詹程遠;余祎;熊俊;梁壘
• 申請（專利權）人: 武漢長江儀器自動化研究所有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 程殿軍

1.一種基于大數據平臺的大壩變形預測方法，其特征在于：包括以下步驟：

S1，針對大壩變形監測的離線歷史數據和實時在線數據，包括結構化數據、半結構化數據和非結構化數據，采用Flume-Kafka-Storm分布式數據采集處理機制對數據進行采集和匯總；

S2，將數據源中的數據抽取到臨時中間層，對數據進行清洗和轉換，然后將清洗和轉換后的數據加載至HDFS分布式文件系統；

S3，根據具體大壩變形預測需求，從影響大壩變形的特征集合中選取一組最有效的特征子集；

S4，基于大數據人工智能算法建立MapReduce或者Spark大數據并行計算框架之上的KNN并行化算法預測模型并對大壩變形進行預測。

2.如權利要求1所述的基于大數據平臺的大壩變形預測方法，其特征在于：

所述步驟S2中對數據進行清洗和轉換具體包括：對數據的解析、去重、篩選、清洗、合并、分類、轉換和增強操作。

3.如權利要求1所述的基于大數據平臺的大壩變形預測方法，其特征在于：

所述步驟S2中將數據加載至HDFS分布式文件系統具體包括：對于結構化數據，以文本文件形式加載至HDFS或遷移至HBase，并設置相應的一級索引和二級索引；對于非結構化數據，以二進制的方式加載至HDFS，并將其路徑存儲于HBase。

4.如權利要求1所述的基于大數據平臺的大壩變形預測方法，其特征在于：

所述步驟S3具體包括：對原始特征數據集通過搜索策略得到特征子集，然后通過評估準則對特征子集中的特征進行篩選，判斷是否停止條件，若是則通過驗證方法進行驗證，若不是，則通過搜索策略繼續搜索。

5.如權利要求1所述的基于大數據平臺的大壩變形預測方法，其特征在于：

所述步驟S3中最終選取的特征包括：、、、、、；

其中：為觀測當日庫水深；為超前個天的溫度；時效因子；為觀測當天至建模時段的累積天數。

6.如權利要求1所述的基于大數據平臺的大壩變形預測方法，其特征在于：

所述步驟S4中建立Spark大數據并行計算框架之上的KNN并行化算法預測模型并對大壩變形進行預測的步驟如下：

S4.1，將HDFS文件系統中的樣本數據讀取至Spark集群，并對數據進行加載與預處理操作；

S4.2，將樣本數據集分片成多份并分發至 Spark 集群中的各個計算節點；

S4.3，根據所述步驟S3中選取的一組最有效的特征子集，生成樣本數據集特征集合；

S4.4，在各個計算節點中，并行計算歷史數據與樣本數據集特征集合間的相似度；

S4.5，將各個計算節點特征向量相似度的計算結果匯總并排序，取出與樣本數據集特征集合最接近的K個近鄰歷史數據；

S4.6，將K個近鄰歷史數據的平均值或基于權重的計算值作為樣本數據集的預測值。